荊州原有個習慣，就是長官去世後，繼任長官會嫌去世長官住的官署晦氣，因此總是將房子推倒後選址重修，這樣做造成了很大的浪費。羊祜到任後，就向大家說明，生死有命，和房子是沒有關係的，下令禁止再這樣做。僅這項措施，就節約不少。
羊祜還用計使吳國撤去了駐石城的守軍。石城距襄陽700餘裏，吳國原有大量駐軍，這些吳軍經常騷擾晉國邊境。吳國中了羊祜之計撤走駐軍後，羊祜就將自己的部隊分成了兩部分，一部分戍邊，一部分墾田。羊祜的這一舉措收效顯著。羊祜初到荊州時，軍無百日之糧。墾田之後的兩三年間，所收糧食可供10年之用。
羊祜對屬下不擺架子。他有一個習慣，就是喜歡著便裝，隻帶上十幾個親信外出打獵或釣魚，並常常因為這些活動耽誤了政事。有一晚，他又準備如此外出，不料軍司（即軍師，晉避司馬師之諱改師為司）徐胤卻手執武器擋在營門口，嚴肅地說：將軍您都督萬裏，怎麼可以如此輕率地丟下肩上重任呢？您的安危，就是國家的安危。今天除非徐胤死在這兒，否則這道門您是出不去的！羊祜沒有因徐胤掃了自己的麵子而發脾氣，相反，他立即誠懇地向徐胤道謝，從此就很少外出了。
晉武帝對羊祜恩寵有加，封羊祜車騎將軍（僅次於大將軍）、開府儀同三司（官號，從一品）。羊祜沒有謝恩接受，而是立即上表請辭。他請辭的奏書，可謂情真意切。他說：我自從進入仕途以來，每次受到重用，都感到自己的能力不可能突然長進，不應讓皇上的恩寵過多地加在不該承受的人身上，因此，我日夜都是戰戰兢兢的，以所受的殊榮為憂慮。古人曾說，德才未為人所佩服而得到了高的爵位，就會讓有才能的臣下不能上進；功勞未被眾人認可而得到了厚祿，會使真正有功的人得不到勉勵。民間還有許多賢能之人，若這樣嘉獎重用我，朝廷上的人沒人表示不同的意見，我也受之心安理得，就會讓民間的賢者失去上進之心，這損失不是很大的嗎！他列舉了朝中很多人，如說光祿大夫李熹“執節高亮，在公正色”；光祿大夫魯芝“潔身寡欲，和而不同”；光祿大夫李胤“清亮簡素，立身在朝”等等，說我羊祜怎麼能超越這些人去領受如此高的爵位呢？羊祜請求不要加封他，而是讓他早點回到荊州去盡他的職責。
晉武帝沒有同意他的請辭，仍加封了他。這一年，羊祜49歲。
吳國著名的將領陸抗，終於讓一向一帆風順的羊祜遭受了一次挫折。
羊祜返還襄陽，吳國西陵都督步闡準備獻城投降。此時，吳國已任命陸抗為吳國的荊州統帥。陸抗是曾大敗過劉備的東吳名將陸遜的次子，是個了不起的軍事家。得知步闡要降，陸抗立即領兵攻打。晉武帝下詔命羊祜去救步闡。羊祜接到命令後，率領5萬人馬從江陵出發，並派荊州刺史楊肇先行攻打陸抗。楊肇未攻下陸抗，步闡及其手下被陸抗生擒後誅殺，並被滅了三族。有關官員立即上表彈劾羊祜，說他統領的軍隊有8萬之多，而對方不過3萬，羊祜受命後卻屯兵江陵，使得吳軍能夠充分備戰，他命令楊肇領軍進攻，但楊肇兵少糧食也不足，導致失敗，因此，羊祜應免官。奏書上去後，羊祜被降為平南將軍，楊肇則被廢為庶人。
羊祜這次受挫，讓他清醒地認識到，吳國有陸抗這樣優秀的將領，軍事力量還很強大，因此，滅吳不是朝夕間的事。於是，他加緊了對吳國軍事蠶食與懷柔並舉的政策實施。
在軍事上，羊祜吸取孟獻子經營武牢而使鄭人畏懼，晏弱在東陽築城使萊子降服的經驗，占據險要之地，築了5座城池，以這些城池為據點，蠶食吳國豐饒之地。石城以西的廣大地方，全部被晉占有，吳國來降的人絡繹不絕。
羊祜在懷柔上下的功夫更大。他和吳國交兵，總是事先講定作戰時間，絕不搞突然襲擊。若有部下建議他搞突然襲擊，他就會用酒將那部下灌醉，讓他再說不出話。有部下俘獲了兩個吳國小孩，羊祜馬上命令送回去。後來，吳國將領夏詳、邵顗等來投降，那兩個小孩的父親也跟來了。吳將陳尚、潘景引兵來犯，戰敗被羊祜追擊斬殺。羊祜以這兩位將領是為國而死，於是以禮厚殮。陳尚、潘景的兒子來領他們父親的遺體，羊祜以相應的禮節送還。吳將鄧香帶兵侵掠夏口被俘，羊祜把他放了。鄧香感恩，率自己的部下來降。羊祜領兵到吳地收割莊稼，但不白拿，總以相應的絹作抵償。羊祜率眾打獵，不出晉地，若打到的獵物先為吳國人所傷，他一定將獵物送還吳人。羊祜這樣做的結果，是深得吳人的信服。吳人尊稱他為羊公，而不叫他的名字。