在黃河南岸，第4綏區劉汝明集團的兩個整編師和徐州司令部的一個整編師並結合地方部隊，沿黃河南岸和隴海線守備魯西南；鄭州指揮所第5綏區孫震部和徐州司令部各一個整編師並結合20個左右的地方團隊，包圍我豫皖蘇解放區。另外，第2兵團王敬久部的4個整編師約8萬餘人，擺在東阿、平陰和滋陰地區，跨越冀魯豫和山東兩戰略區，作為機動作戰力量。晉冀魯豫野戰軍指揮部和中央局決定，冀魯豫軍區和豫皖蘇軍區，積極配合豫北反攻作戰。冀魯豫軍區部隊力爭收複東阿、平陰、嘉祥、巨野等要點；豫皖蘇軍區部隊應力爭收複通許、太康和寧陵等要點。
3月19日，國軍胡宗南部占領延安。中共中央和解放軍總部安全撤離延安，繼續與胡宗南部隊戰鬥。為此，中共晉冀魯豫中央局號召本區全體軍民積極行動起來，勇敢作戰，努力生產，用戰鬥的勝利和生產的豐收來保衛黨中央！保衛毛主席！爭取早日收複延安。晉冀魯豫野戰軍指揮部決定：從3月19日開始，準備豫北和晉南以及黃河南岸的反攻，22日各軍區和各野戰集團開始行動。豫北反攻部隊22日向豫北開進，晉冀魯豫中央局動員的太行區各縣民兵20萬人，也同時出動，徹底破壞安陽至汲縣段的鐵路。
為了保證參加豫北反攻作戰的勝利，盧彥山和他的戰友們積極組織部隊進行夜戰、攻城、巷戰、登房和穿牆破壁等戰術的訓練，教育部隊要充分發揮我近戰、夜戰的特長，猛打、猛插、猛追，使敵人毫無喘息之機，從而全殲敵人。經過嚴格訓練，54團兵強馬壯，可以一戰了。
3月22日，第3、6縱隊組成的第三作戰集團，奉命由朝城地區向豫北開進。第6縱隊的任務是，首先攻打小冀、獲嘉，爾後打擊由新鄉來援的王仲廉部隊，並視機會加入其他方麵的戰鬥。從3月22日開始，豫北反攻作戰就打響了，兄弟縱隊先後對濮陽、封丘、原武、延津、陽武等敵發起了猛烈攻擊。29日夜，杜義德和韋傑率部行至汲縣東南地區時，接到野戰軍司令部電令，參加圍攻汲縣守敵，在內線工作的配合下迫使整編第32師起義。29日夜，盧彥山率54團進抵汲縣東南的曹林、虎頭莊一帶。3月30日21時，54團配合兄弟部隊占領了汲縣東南的曹莊、李灣屯一帶地區，隨即奉命在旅的編成內和兄弟部隊一起圍攻汲縣城。