3月22日，各集團開始隱蔽機動，23日發起攻擊，至29日，各集團分別解放了延津、陽武、原武三座城鎮以及濮陽、滑縣、新鄉、長垣間廣大鄉村，殲滅了國民黨軍一部，並進至新鄉、汲縣地區，使守敵極為震驚。3月26日，國民黨軍陸軍總司令部鄭州指揮部根據其各部的報告分析判斷認為：劉鄧的晉冀魯豫野戰軍“似以有力一部襲擾黃河鐵橋守敵（軍），以主力由東西夾擊我新、汲之企圖”。遂即重新調整了作戰部署：以“第五綏靖區各部任務不變，並令整二十六軍之三二師開汲縣控製，歸孫司令官指揮。二六軍各部之任務不變，但四0師須抽一個團開新鄉，另令第九師（欠第九旅）開新鄉歸王軍長指揮，擔任新鄉及黃河橋頭堡之守備。六六師（欠一五八旅）即車運鄭州集結，二0六師之第一旅之第二團，即開花園口至回回砦間，及交警十六總隊之一大隊開花園口至黃河橋南岸間，分別擔任黃河南岸之守備。”
3月29日夜，我野戰軍第一集團以一部襲擊黃河鐵橋，當時因風沙太大，使攻擊行動受到很大影響，加之守軍防守比較嚴密，所以，攻擊未能奏效。但這一行動，暴露了我軍行動企圖。次日夜，國民黨軍整編第六十六師第一旅由駐馬店乘火車直接抵達黃河鐵橋進行增援，致使我第一集團攻擊又未獲成功。然而，就在此時，我晉冀魯豫野戰軍主力卻包圍了汲縣地區之整編第三十二師、孫震總部及整編第四十一師第一0四旅殘部。鄧小平和劉伯承研究決定，將第一集團調至新鄉西南之小冀地區為總預備隊，集中第二、第三、第四集團主力，對汲縣實施合力攻擊。4月1日夜，攻擊發起，至4月2日夜，我野戰軍攻占了汲縣城外據點多處，並攻占了東關。但是，就在戰鬥向縣城發展時，王仲廉將黃河南岸的整編第六十六師的三個旅、整編第九師的第二旅和汲縣地區的整編第四十一師的一個旅調至新鄉附近，焦作地區的整編第三師的兩個旅也已向新鄉地區集結。這樣，國民黨軍在新鄉地區的總兵力一下就增至為五個整編師10個旅（含在新鄉的第二快速縱隊），並有向汲縣機動增援的跡象。此時，鄧小平和劉伯承覺得汲縣暫時還攻不下來，等到敵援兵趕到，易於造成我腹背受敵的被動態勢。為了防止這種態勢的出現，果斷決定結束汲縣作戰，迅速轉移。在這一階段作戰中，我晉冀魯豫野戰軍共殲滅國民黨軍5000餘人，解放了黃河以北、平漢路以東，東西100餘公裏、南北70餘公裏的地區，摧毀並控製了平漢路、道清路50餘公裏，打亂了國民黨軍在豫北的部署，迫使蔣介石將原擬調山東戰場的整編第六十六師、整編第九師轉調到了豫北戰場，從而，為山東戰場的我軍作戰減輕了壓力。
三、再度機動兵力，殲敵於運動之中
鑒於第一步作戰任務已經基本完成，鄧小平和劉伯承分析認為，敵人向新鄉地區的增兵，使我已經達到了調動敵人的目的。但為了避開這股優勢之敵，繼續調動敵人，使其脫離堅固陣地，以利於我大量消滅其有生力量，我軍還應該揮師北上，再度機動兵力，牽製敵人主力來援，以創造野戰殲敵的戰機。基於這樣一種分析，鄧小平和劉伯承決定擬定第二步作戰方案：首先掃清平漢路兩側據點，消滅分散零落的國民黨小股部隊，徹底破壞平漢路上的安陽至汲縣段，並相機奪取湯陰、淇縣兩城，控製衛河以北、西北及平漢路以東的廣大地區，以積極勇猛的作戰行動，誘調王仲廉部北進，尋機在運動中將其殲滅。根據這一作戰計劃，鄧小平和劉伯承確定了具體的作戰部署：即以第二集團的五個旅主力於3日乘夜隱蔽渡過衛河，以一個旅先奔襲王陵集的國民黨守軍，5日夜主力趕至竇公集西南地區，爾後以突然襲擊的方法分別消滅太保、楚旺、回隆集的國民黨守軍，另留下獨立旅等部隊於沙店、湛門地區分別向滑縣、道口、汲縣方向擔任警戒，並保護淇門附近的浮橋，待第一集團接續渡河後再歸隊；以第一集團（欠騎兵團）於3日夜至5日夜，經李沅屯以南地區、魏賢集和新鎮地區、冷湖寨以北地區快速北進，6日夜與太行軍區部隊密切配合相機圍攻湯陰；以第三集團於3日夜分由汲縣東南渡河到汲縣、淇縣之間地區，於5日夜以主力結合太行軍區部隊相機圍攻淇縣，並以一部兵力圍攻宜溝；以第四集團除以一部兵力向汲縣和新鄉敵人實施佯攻偵察外，主力部隊分別配合第一、第三集團圍攻湯陰、淇縣兩城，並封鎖鶴壁的國民黨守軍，使其不能竄回到湯陰，以利於最後全殲。此外，野戰軍指揮部還要求各集團都要組織參戰民兵、民工徹底破壞安陽至新鄉段的鐵路。這一次的作戰行動，一定要以勇猛、快速、突然的打擊，給敵人以看到，使其受到更大的壓力，迫使其不得不調兵增援，這樣就達到我們殲敵於運動之中的作戰意圖了。