魏允贞没有料到，关防竟是如此惨象!他想，如果向朝廷申请边备银两，不知哪个猴年马月才能拨下来，而这事却刻不容缓。
魏允贞把牙一咬，将自己的官饷减掉一半，又裁减了上下来往官吏接待、交际费用，号召当地乡绅捐款，七拚八凑，筹得一些银两，在各要塞之地修建了城堡，派官养兵屯田。
此外，他还将过去的残破长城重修加固了有一万多丈，并派人督造铠甲兵器。
除此之外，他还让部下主持，买来大批肥壮骡马，加强了边备。在他与守备军官的共同努力下，没多长时间，把一个伤痕累累的边关治理得壁垒森严。
将边备整饬妥贴之后，魏允贞又想到了更深层次的问题：这边塞之地，百姓因贫穷而导致了野蛮，若用强硬措施治理，必然导致矛盾激化。因此，只能施以教化，才能政通人和，军民共同守好边防。
魏允贞号召当地富豪、乡绅和殷实人家，捐一些银两，官府再拨出一部分银两来修建了一些学堂书院，招收大批学生就读。网罗有学问的士人讲学。一时间，人才济济，书声琅琅，一片繁荣兴旺景象。
当这一切都做得有声有色之后，魏允贞又倡议重修了文中子等贤人的祠堂，供众百姓瞻仰、祭拜。
魏允贞这一前无古人的义举，受到山西百姓、军民的一致称赞。他们纷纷议论说：“三年清知府，还十万雪花银哪，何况魏大人官至巡抚之职?他不但不搜刮百姓，还带领咱们整饬边备，发展生产，修建城堡，养兵屯田，打造兵器，建成学校、祠堂，需要花多少钱呐?那些赃官，谁肯办这好事，早把钱装自己腰包里去了!可魏大人不贪不占，还把自己的官饷捐出来，真是清官啊。”
魏允贞上任没过一年，在山西地面就名声大振，百姓们交口称颂。
刚到山西不久，魏允贞就发现朝廷派来的矿监税使对当地百姓危害非常严重。
奉命到山西当矿监的是张忠，税使是孙朝。二人捧着圣旨，四处乱窜，指挥手下爪牙以开矿为名，大肆榨取百姓钱财。
有一天，魏允贞正在衙门办公，忽听堂鼓“咚咚”地敲得十分紧急。允贞忙命衙役将擂鼓之人传来问话。话音刚落，一披头散发女人跪在地上磕头：“魏大人要与小民做主啊。”边说，边嚎啕大哭。
魏允贞问道：“州有州官，县有县衙，你不在当地告状，为何越级向本府来告?有何冤情，快快道来!”
那女子抬起泪眼模糊的脸哭诉道：“大人啊，那朝廷派来的矿监税使，毒如蛇蝎，狠如虎狼。他们知道我家祖坟年代久远，可能有珍宝，就地一指说我家祖坟下有矿脉，派人挖开后抢走了珍宝。我父兄气不过，同他们理论，谁知这些家伙们下了毒手，把我父兄活活打死!这还不算，他们见奴家貌美，就想坏主意。奴家誓死不从，他们就把我打得遍体鳞伤……大人，你要为我做主啊！”
魏允贞一听，怒从中来，问道：“你这女子说得可是实话?”
女子见允贞不信，就指天抢地地说：“大人啊，我如果有半句谎话，天地不容!”
正说着，进来了三、四个百姓，跪下边磕头边为女子做证。
魏允贞直气得胡子微微颤抖：“清清丽日，朗朗乾坤，竟然打着朝廷招牌为非作歹，糟害百姓，真他妈吃了熊心豹子胆。还有没有王法?来人!”