從4月3日開始，各集團按作戰部署隱蔽地機動，急速北進，至10日，各集團先後攻克了龐村、鶴壁、鹿樓、水冶、觀台、淇縣城、菜園、太保、五陵集、回隆、城鎮、楚旺等據點數十處，殲滅了敵整編第三縱隊、第五總隊、河南省保安司令部第三專署第四總部及自衛縱隊第一總部等部共9000餘人，並繳獲了大量的武器彈藥。徹底破壞了安陽至汲縣段鐵路，解放了衛河以西、平漢路兩側的廣大地區，開辟了新的戰場，主力也逼近了安陽、圍攻湯陰。我晉冀魯豫野戰軍的作戰行動，果然生效。認為我軍主力集結此城，是其徹底解決豫北的難得機會，所以，企圖在豫北地區與我主力決戰。4月6日，由王仲廉親自出馬，率整編第六十六師、整編第四十一師一個旅、整編第四十師一個團及第二快速縱隊，組成作戰本隊，整編第三十二師為預備隊隨後跟進，由新鄉地區沿平漢路東側開始北進尋找我軍主力。4月10日，當王仲廉部進至宜溝附近地區，遭到我野戰軍的正麵抵抗，同時發現兩側設有伏兵的態勢下，不敢貿然行動，隻好收縮兵力後撤。
據於這種情況，鄧小平與劉伯承分析，如果我以一部兵力再繼續圍攻湯陰，威脅安陽的話，北進之敵肯定會以一部兵力回援和以其他兵力進行增援，這樣便於我在預定地區殲敵一部。基於這樣一種考慮，鄧小平和劉伯承決定以第六縱隊的一個旅和冀南軍區的兩個獨立旅向湯陰和崔橋兩地發起攻擊，他們要求部隊打得越堅決、越猛烈、越積極越好。爾後集中主力快速機動到大齎店、湯陰之間地區，形成夾擊部署，待機殲滅增援之敵。具體部署是，以第一集團、第二集團組成路東集團，依托冷湖寨山地的有利地形向西突擊；以第三、第四集團組成路西集團，作戰中由大齎店及淇河以北的山地向東突擊。作戰部署完成後，首先是第六縱隊一部和冀南軍區部隊對湯陰防守之敵發起了積極的圍攻。這一行動一下子打在了敵人的痛處，敵為解湯陰之圍，立即命令整編第二十六軍急速北援。鄧小平和劉伯承見我調動敵人的作戰意圖已初步實現，遂令野戰軍以小部兵力為誘餌，采取運動防禦的辦法，與敵保持接觸，誘其進至我預設戰場。4月15日，敵第一梯隊進至宜溝以東的屯子山地區。16日夜，鄧小平和劉伯承認為戰機已經形成，決定對敵發起攻擊，集中主力從敵整編第二十六軍等部的兩側實施兜擊，將敵第一梯隊和第二梯隊割裂開來，然後將第一梯隊包圍於衛河以北、淇河以東的河套地區。17日夜，我野戰軍主力發起攻擊，戰至18日，將敵人的第二快速縱隊全殲於大小湖營地區，其餘敵人紛紛潰逃，我野戰軍乘勝追擊，在追擊中又殲滅了敵整編第六十六師一個旅及整編第四十七師一個旅的各一部，同時也解放了淇縣、滑縣、浚縣等三座縣城。王仲廉見援兵遭到重大打擊，且我軍正在形成合圍態勢之後，馬上決定收縮兵力於新鄉，暫時不敢北上增援。鄧小平和劉伯承認為，豫北戰役的第二步作戰任務已經基本完成，通過廣泛的戰場機動，達成了調動敵人於運動之中，殲滅其有生力量的目的。
隨後，我晉冀魯豫野戰軍又乘勝實施了第三步、第四步作戰，攻克了湯陰，進行了安陽外圍作戰，共殲敵4.5萬餘人，解放了豫北長150公裏，寬100公裏的廣大地區，控製了平漢路150餘公裏的路段。可以說，我晉冀魯豫野戰軍完全掌握了豫北戰場的作戰主動權，贏得了戰局的轉換，破壞了國民黨聯’係東西兩個戰場之樞紐地帶的防禦部署，有力地配合了陝北和山東解放軍粉碎蔣介石重點進攻的作戰行動，也為下一步我軍的戰略反攻創造了重要的條件。