羊山集位於金鄉西北15公裏，周圍環有寨牆，並有外壕一道，東、南兩麵地勢較低窪。北麵有東西長約2000米、高400米的孤山一座，名為羊山。當地居民稱東峰為“羊頭”，中峰為“羊頭”，西峰為“羊尾”。“羊身”南山坡緩慢，直接和東大街之房屋連接。敵人火力可控製羊山周圍1000米左右的地區，有利於敵人反撲和相互支援，而我軍部隊則難於運動和接近，的確是易守難攻。
敵整編66師係蔣介石嫡係，屬陳誠所部，裝備較好，為蔣介石打內戰的主力之一。該敵進至羊山集後，不分晝夜搶修工事。
劉、鄧首長命令第2縱隊和第3縱隊進攻羊山集，圍殲敵整編66師。1947年7月13日19時，按照3縱作戰部署，8旅以2團由羊山集東北，24團由東南（23團作預備隊）實施攻擊。因進攻道路多水，在接敵運動中又被敵過早地發現，所以在我軍爆破鹿砦向敵衝擊時，遭到敵人三麵火力壓製，部隊進攻受挫，拂曉撤出戰鬥。
7月16日，8旅召開黨委擴大會議，對第一次攻擊未果做了檢討，會後對兵力火力重新做了調整和部署，同時對部隊又進行了政治動員。
17日，8旅以22團由東北主攻“羊頭”，24團仍由東南攻羊山集。19時發起攻擊。22團1營突破前沿，越過峭壁攻亡“羊頭”，遭敵猛烈反撲，部隊傷亡很大。2營緊接1營主攻“羊頭”，團長塗學忠、政委田維新親自跑到前麵指揮戰鬥。2營吳營長率領全營和敵人反複衝殺20餘次攻占“羊頭”，吳錫山營長光榮犧牲。因山上石頭太多，一時無法構築工事，2營又遭敵拚命反撲和多方火力壓製，天亮後，我軍又撤出戰鬥。
17日，企圖向羊山集靠攏之敵整編32、70師已被我第1、6縱隊殲滅，守敵更加孤立。劉、鄧首長為給2野挺進大別山實現戰略進攻掃清道路，決定集中6縱、2縱、3縱之兵力繼續殲滅羊山之敵。6縱16旅攻“羊身”，8旅23團、24團（22團作預備隊）共同攻擊“羊頭”。19時發起戰鬥，23團1營迅速攻上“羊頭”。部隊頑強戰鬥，打退了敵人的反撲。
“羊頭”是敵人防禦體係的核心，是敵人存亡的關鍵。為保“羊頭”，敵人又增調了大量兵力兵器，多次組織反衝鋒，拚命向我軍反撲，1營傷亡很大。因山腰陣地白天很難堅守，旅部命令23團拂曉前再次撒出戰鬥。當晚，3縱9旅和2縱由村南、村西突破前沿，楔入縱深，控製了羊山集十字街以西部分房屋，與敵對峙起來。
8旅對“羊頭”連攻了3次均未能守住陣地。劉伯承司令員指示改變打法，重新調整了進攻部署，決定最後一次總攻，以羊山西、北為攻擊重點，東南方向積極配合攻擊。
7月18日淩晨3點，6旅接到命令，接替8旅擔任主攻羊山集的戰鬥任務。此時，經過激烈的戰鬥，兄弟部隊已掃清羊山集外圍，敵人收縮後據守山頭負隅頑抗。6旅把旅指揮所設在羊山集西麵100米遠的一個隻有十餘間房子的小村莊裏。當天下午，6旅召開緊急會議，認真分析了敵情，指定各團的具體任務，在實地詳細地研究作戰方案。6旅決心：以17團由村西頭沿羊尾向山上實施主要突擊；18團由羊山集西麵及西南方向實施攻擊；16團為二梯隊。
19日黃昏，17、18團的突擊隊，在我強大炮火掩護下，由羊山集西門及西南角向敵人發起了勇猛衝擊。18團參謀長孫濟雲親自帶領突擊8連以迅猛的動作向西南敵前沿陣—地撲過去。勇猛地突破了敵人火力網，連續炸掉敵人4個機槍地堡。不到30分鍾，就打開了一個突破口，占領敵人前沿一陣地。
敵人慌忙退人核心工事繼續頑抗，8連衝擊受阻，傷亡較大。該團馬上決定由3營副營長馬金柱帶領9連進行第二次攻擊。但進展還是困難。在這非常緊急的時刻，7連長梁繼英當機立斷，指揮全連火力集中到突破口支援9連，並組織尖刀排出擊，協同9連作戰。9連在7連的支援下順利地突破了敵人陣地，為後續部隊殺開了通路。在1、2營相繼投入戰鬥後，全團用了不到1個小時，就全部占領羊山集西大街。17團主力也突破了敵人的防線，全部占領“羊尾”和西大街北部的房屋據點，殲敵一部。敵人主力退入十字大街核心工事後，拚命頑抗。這時6旅遭到敵人羊山製高點火力的猛烈側射，繼續強攻已有困難。戰鬥到午夜，6旅接到了上級“鞏固既得陣地，待命出擊”的命令。
一場激戰剛剛平息下來，敵人就組織成營、成團的兵力向我軍猛烈反撲，妄圖奪回失去的陣地。17、18團的指戰員打退了敵人一次又一次的反撲，保住了已占陣地。此後，我軍便與敵人逐屋逐堡地爭奪，相機殲敵。17團2連僅1天就占敵地堡5個，殲敵60餘名。18團5連1排，正麵用火力封鎖敵之地堡，同時用小股部隊繞至敵堡側後，連續攻占敵3個地堡，俘敵百餘名，全排僅傷亡2人。敵人受到了大量的殺傷後，退回十字街東的防禦體係內固守，並構築了第二道防線，準備依托堅固的工事死守東半截。與此同時，周發田、劉華清組織部隊幹部戰士也趕修工事，鞏固既得陣地，做好再次強攻的準備。