1938年，日军占领祁县后，扶持了不少汉奸。386旅旅长陈赓气愤的说：“得杀几个汉奸，杀一儆百！” 查玉升笑着说：“旅长，这事交给我来办。” 1938年，日军打进山西中部，祁县很快就落入他们手里。县城里一下子冒出不少本地人投靠过去，帮着日伪维持秩序，搜集消息，专给八路军添堵。 这些人有的原来在当地有点地位，现在戴上日军发的标志，带着人进商铺，以收物资的名义强拿布匹粮食，直接拉回家用。有的街头混混加入伪军，手里拿着枪在路口晃荡，对日军点头弯腰，对老百姓随意抢东西。 他们的举动让日军摸到不少情报，八路军129师386旅派人进城侦察，好几次差点被发现，行动老受影响。报告传到旅部，大家都觉得得想办法打击这些家伙，不然抗日工作难开展，群众也遭罪。 旅长陈赓看到报告，口气硬邦邦地说要除掉几个主要的，给其他人敲警钟。话音刚落，772团营长查玉升走进来，他刚从一线回来，笑着说这事他来办。 陈赓一看是他，就同意了，让他带人去干。查玉升接下任务，没急着动手，知道这些人藏在日军眼皮底下，硬来容易坏事。他先仔细准备，换上普通衣服，混在民众里进城观察，记清了两个主要目标的住处和习惯。一个常去城里消遣的地方，一个爱去小酒铺喝酒。后来听到消息，一个目标第二天早上去日军那里递材料。查玉升赶紧回去报告，定下次日动手计划。 第二天一早，在街上动手，除掉一个，留下标记撤走。几天后又夜里行动，把另一个抓出来，绑在显眼地方，贴上罪行纸条，让大家看见。这两件事一传开，祁县那些投靠的人慌了神。有的赶紧传话，说以后不干了；伪军出门也小心翼翼，不敢再随便欺负人。 有回日军要他们去乡下收粮，好多人找借口推脱，日军气得动手打人，还是没逼动。陈赓听到这些，说日军没了本地帮手，情报断了，部队活动方便多了。查玉升干这些，就是为了断日军胳膊腿，让他们在祁县待不稳，少祸害老百姓。事后民间传他的事，说他办事利索，胆大心细。 抗日那几年，386旅在陈赓带领下，打了不少硬仗，神头岭、响堂铺、长乐村这些，都让日军吃亏大。日军恨得在坦克上写“专打386旅”，可见这支部队多扎眼。 查玉升在772团干得稳当，后来升副团长，带队执行任务总靠谱。锄奸这事，震慑了敌人，护住了根据地，也让群众看到八路军在为他们出气。
