南路蔣軍增援羊山集失敗。西路王仲廉兵團主力還在冉堌集一帶徘徊。
7月27日，解放軍經過30個小時的緊張準備，各路攻擊部隊在第2縱隊司令員陳再道的統一指揮下，迅速進入攻擊出發陣地。黃昏時分，全軍幾百門大炮和1000多門小炮同時向宋瑞珂設在“羊身”和“羊尾”以及鎮口的殘餘工事猛烈轟擊，刹那間把個羊山打成了火山。8分鍾急襲式的炮火一停，各路突擊隊一齊衝向預定的突擊目標，從東西的山頭上，從西到東的街道上，殺聲震天。不到30分鍾，解放軍就突破了蔣軍前沿陣地 。緊接著，劉鄧以7個旅近8萬人的兵力攻入蔣軍第66師縱深陣地，實施分割包圍。戰至28日拂曉，羊山和羊山集的蔣軍大部被殲。宋瑞珂帶著親信和警衛營400餘人退守鎮東北角的一座樓房和兩個大院負隅頑抗。2縱隊第6旅旅長劉華清即令第18團圍攻。在強大的軍事進攻和政治攻勢下，宋瑞珂的警衛營被繳械投降。宋瑞珂見大勢已去，人民解放軍投降。
羊山集主要戰鬥快要結束時，一股蔣軍衝出包圍，向金鄉方向逃竄。第6縱隊主力和軍區獨立旅以及成千上萬的民兵遠征軍、地方遊擊隊從四麵八方圍攻上去。一股約200多人的蔣軍竄入金鄉西北李樓地區，54團立即給予猛烈打擊，俘敵200餘人。殘敵繼續朝李樓以北逃跑，在村北窪地裏，又遭第52團、53團的合擊被殲滅。
戰至29日，魯西南戰役勝利結束。在20多天裏，劉鄧大軍連續作戰，殲滅了蔣軍9個半旅和4個師部共5萬多人，打開了戰略進攻的南大門。7月31日，新華社發表了《祝魯西大捷》的社論，歡呼“魯西大捷答複了蔣介石的總動員令；魯西大捷答複了蔣介石的重點進攻；魯西大捷答複了蔣介石的無恥造謠；魯西勝利並顯現了南線反攻的偉大遠景。”
戰後，盧彥山奉命率54團隨旅轉移至菏澤張鳳集、魯南集、董裏集地區休整。在曆時27天的魯西南戰役中，盧彥山指揮54團與兄弟部隊一道，突破黃河天險，一戰定陶，再戰六營集，三戰羊山集，連戰皆捷，殲敵971人，自身傷亡126人，又一次以小的代價奪取了戰鬥的勝利。