鄒湛說："你德冠四海，道接前哲，美好的業績和名望一定會和峴山一樣，永存於世。至於我等之人，才會湮沒無聞！"
曹髦被戮後，曹奐即位，時稱魏元帝。羊祜被封關內侯，食邑一百戶。期間善忌賢能的鍾會，受到司馬昭寵信，羊祜為免沖突，示弱於他。鍾會死於成都兵變後，羊祜復被司馬昭、司馬炎父子重用，兼管內外政事。
公元266年，司馬炎受禪稱帝，建立西晉王朝。羊祜被授任中軍將軍，加散騎常侍，進爵郡公，食邑三千戶。羊祜為防權臣賈充等人妒嫉於己，堅決推辭公爵，隻接受本爵钜平子進封為钜平侯的詔命。
不久羊祜領命主抓荊州防務。其時官場有個習俗，前任官長如果死於官署，後繼者便會以居地不吉為由，拆毀舊府，另行修建。羊祜認為，這是迷信，純屬浪費，下令一律禁止。
公元272年，吳國西陵守將步闡，因擔心吳主孫皓拿其開刀，舉城投晉。晉武帝司馬炎即派楊肇、羊祜及徐胤各率一路大軍牽製、攻擊吳軍，以助步闡守城。但由於吳國名將陸抗的卓越軍事指揮才能，三路援軍敗的敗，撤的撤，因此孤立的步闡最後因城陷被誅三族。
"西陵之戰"後，有官員上表彈賅羊祜："羊祜率軍八萬多，吳軍不過三萬，羊祜在江陵按兵不前，使賊兵備好攻守戰具，並隻派楊肇這支偏師深入險地，兵少而糧草不繼，致使我軍失利。羊祜違背詔命，沒有大將節操，應免去官職，保留侯爵回府第閑居。"結果，羊祜被貶為平南將軍，楊肇則被貶為平民。
羊祜認真總結"西陵之戰"教訓，他覺得：吳國的國勢，因於吳主孫皓的暴政，已呈衰退狀態，但仍有一定實力，特別是荊州尚有陸抗這樣的優秀將領主持軍事，因此平吳戰爭不宜操之過急。於是，他采取軍事蠶食和提倡信義的兩麵策略，以蒙彌吳國。
羊祜運用信義之舉有"義釋被俘吳將"、"相約交戰時間"、"等價交換糧絹"、"傷禽遣還吳軍"等，尤為讓人稱道的是，聽說吳軍主帥陸抗患病，羊祜對癥送藥，以至陸抗經常告誡將士們："羊祜采取以德感人策略，我們千萬不要為小利而侵擾晉國。"
盡管吳國出了陸抗這麼一個懂得羊祜"良苦用心"的良將，但天妒英才，陸抗病逝於公元274年，之後吳國再也無人能察羊祜，加上吳主孫皓對外窮兵黷武、對內打昏異己，終於在公元280年，吳國被晉國吞並。
羊祜雖然沒能親自參與伐吳之戰，但基於指揮此戰的將帥如王濬、杜預等皆係他生前力薦，且伐吳方略也為其製訂，故被冠"西晉滅吳的奠基者"之譽。讀者如對羊祜軍事業績抱有興趣的話，敬請搜看本文姊妹篇"閃爍星中有羊祜"。