羊兄身材修偉，美須眉，而且博學能文，口才上佳，但羊大胡子前半生的事業是堅持當待業青年。都說成家立業，羊祜在娶了夏侯霸的女兒之後，仍不願參加工作，州郡接連幾次征召，他都不去。曹爽當年征他，也沒征動，甚至司馬昭請他到大將軍府工作，他也沒去。
這麼看來，青年羊祜是個不求上進的混混？非也。
他十二歲那年，也曾碰到一個老漢，誇他生得一副好相貌，六十歲之前，肯定能建大功於天下。
這次奇遇的真實性，我們不必去考究。但有一點可以肯定，羊祜是有雄心壯誌的，但他知道，時勢不但能造英雄，也能毀英雄。曹爽征你，你能去嗎？大將軍征你，你就必須去麼？一切都要等塵埃落定，沒有必要參與混戰。
不過，拒絕了司馬昭的邀請之後不久，羊祜還是應朝廷之征，當了中書侍郎，時機需要等待，但也要稍微打點提前量不是？
入朝為官的最初幾年裏，羊祜非常低調。曹髦大搞儒學運動時，官員們大多獻詩獻文，羊祜沒有參與，對獲得好評或者惡評的作者，也一視同仁，誰也不得罪。曹奐繼位後，羊祜更是覺得最好不要待在皇帝身邊，請求出宮工作，當了個秘書監，管管文件。鍾會得勢，羊祜更加小心，從來沒有得罪過他，以免惹禍上身。
一直到鍾會被誅，局麵穩定下來，羊祜這才結束了潛伏期，先是拜為相國從事郎中，與荀勖共掌機密，後又升為中領軍，統領宿衛禁兵，這個位置表現了司馬昭、司馬炎父子對羊祜的充分信任，皇宮內外一旦有事，那就要靠羊祜來控場了。
不過，羊祜對爵位官職似乎不太感興趣，武帝即位後，他一再推辭封爵，力求自己的職位處於賈充、裴秀等人之下。
因為羊祜真正的興趣在於做一番大事業，如果功業未建，名爵先行，朝中肯定有人先盯上你了，那還怎麼幹事業？
羊祜後半生的目標很專一——平定東吳。在這件事上，他一直是司馬炎的同誌知己。
泰始五年（269），司馬炎以尚書左仆射羊祜都督荊州諸軍事，鎮襄陽，開始了對吳作戰的前期準備工作。
羊祜在荊州，辦了很多好事。
首先是開設學校，讓大家學習文化和先進道德思想，穩定民心。再就是下令釋放吳軍俘虜，願回家的回家，願留下的留下，聽其自便。
接著，羊祜縮減了邊境巡邏隊，下崗人員一律去開荒種田，陸續開墾出八百餘頃田地。荊州原先的軍糧儲備隻夠三個月，這麼一搞，兩三年後，羊祜積起了十年軍糧。
西陵得而複失，讓司馬炎和羊祜都感覺到，雖然孫晧殘暴昏庸，但東吳還是有忠臣良將的，陸抗就是其中的優秀代表，有他坐鎮，荊州上遊恐怕難以速取。
就在君臣二人反省這次的失利的同時，西北形勢危急起來，司馬炎的工作重心暫時轉向了滅火工作。不過，東吳這邊也未曾放鬆。
現在，兩國爭奪的焦點是荊州，精確地說，是吳國的荊州。當時，晉吳兩國都設有荊州，今湖北省北部屬晉荊州，而長江沿岸則屬吳荊州。
而爭奪荊州的鬥爭，其實就是羊祜和陸抗的鬥爭，這兩位，分別是各自荊州的最高軍事統帥。
首次鬥智，羊祜輸給了陸抗，不過，他並沒有灰心，回到襄陽之後，總結失敗原因，仔細研究對手，調整策略。
陸抗是忠臣，也是良將，這種人一般有三個特點：有道德，有風度，有能力，陸抗情況更特殊，他還有苦衷。
陸凱死後，陸抗接過了規勸孫晧的擔子，曾提出十七條針對時弊的建議，可孫晧充耳不聞，陸抗有心報國，無力回天。
那麼，能否從陸抗的幾個特點中，找到擊敗他的突破口呢？
經過思考，羊祜大張旗鼓的向陸抗宣戰了，這是一場攻心戰、道德戰、情操戰。
羊祜在兩國邊境，不斷開墾荒地，建立城池，營造出欣欣向榮的生產生活氣氛，不堪孫晧剝削的吳國邊境人民不斷跨過國境，前來歸順。凡是來投降的人，不論軍民，都得到了羊祜的優待和安置，由此形成了良性循環。
兩軍對壘，難免有開仗的時候，羊祜每次都提前約定交戰日期，並嚴格遵守，絕不搞偷襲。打完仗，羊祜還會厚葬犧牲的吳將，有時候，還特地活捉一兩個，教育一番就釋放，玩起當年諸葛亮七擒孟獲的把戲。這麼一搞，放回去的，很快就自己來歸順了。
有一次，巡邏士兵俘虜了兩名誤入晉境的吳國少年，羊祜款待了兩個孩子，還派人護送他們回家。不久後，兩位少年的父親領著兩大家子人，隨吳將夏詳、邵顗來降。
有時候，局部戰爭發生在吳國境內，羊祜就地割穀子作軍糧，都計算清楚數量，用布匹償還當地農民。每次去野外打獵，羊祜都嚴格限製地域，不許跨出晉地，有些野獸如果被吳人打傷，逃竄入晉，那還給人送回去。
這些行動，收盡了江漢、江沔地區的民心。
時間久了，陸抗也頂不住了，屢次公開稱讚羊祜是君子，堪比樂毅、孔明。陸抗在任後期，生了一場大病，羊祜聽說了，就差人送藥過來。
大家都勸陸抗不要吃，萬一裏麵有毒呢？陸抗堅持服藥，說：“羊祜豈是下毒之輩？”當然，是不是藥到病除咱不知道，不過裏麵確實沒毒。