後來，為表彰羊祜都督荊州諸軍事等功勞，皇帝加封他為車騎將軍，地位等同三公。羊祜再次上表推辭，他在奏章中寫道：“臣入仕方十餘年，便在陛下的恩寵之下占據如此顯要的位置，因此無時無刻不為自己的高位而戰戰兢兢，榮華對我而言實屬憂患。我乃外戚，隻因運氣好才能事事辦得順利，自當警戒受到過分的寵愛。但陛下屢屢下詔，賜予了我太多的榮耀，這讓我怎麼承受得起，又怎能心安理得？現在朝中，有不少德才兼備之士，比如光祿大夫李熹高風亮節，魯藝潔身寡欲，李胤清廉樸素，卻還都沒有獲得高位，而我隻是一個無德無能的平庸之輩，地位卻在他們之上，這讓天下人作何感想？怎能平息天下人的怨憤呢？所以乞望陛下收回成命。”但皇帝沒有應允。
羊祜去世後，晉武帝哭得非常哀傷。那天特別冷，晉武帝流下的眼淚沾在須鬢上，都結成了冰。羊祜曾有遺言不讓把南城侯印放入棺木。晉武帝說：“羊祜堅持謙讓已很多年了，現在人死了而謙讓的美德還在。如今
就按他的意思辦，恢複他原來的封號，以彰明他高尚的美德。”荊州百姓聽說羊祜去世後，為悼念他而罷市，停止集市交易，街巷中的哭泣之聲接連不絕，就連吳國守衛邊境的將士們也為此而傷心流淚。因為“屋”、“戶”與“祜”字諧音，荊州、襄陽一帶的百姓為表示對羊祜的尊敬，避諱羊祜的名字，所以把“屋”改為“門”，把“戶曹”改為“辭曹”。羊祜生前曾喜歡遊峴山，襄陽百姓便在峴山上為他建廟立碑，一年四季祭祀。望著這座碑的人沒有不落淚的，所以人們稱這座碑為“墮淚碑”。
【妙語新悟】
公正廉明是古代做官的基本要求，對清官來講，首先是不貪，然後是無私，不貪則廉，無私則公。不論為官或治家，必須以身作則，奉公守法，避免上行下效。持家同樣如此。為人應心氣平和，保持勤儉節約的傳統美德。很多東西從道理上講人們很清楚，但行動起來確實很難，人們如果能多克服些私欲就可以多存些公德。清儉自律、謙卑退讓是羊祜處世立命的準則，亦為後人做出了克己奉公、與人為善的絕好榜樣。
人這一生有風有浪、有順有逆、有高有低，隻有秉持著謙卑的姿態行走其間，才能順利通過所有門庭。事實上，羊祜的做法不僅是謙卑退讓、與人為善，而且他身居官場，處處都是陷阱，步步都得小心，
正如古人所說，如臨深淵，如履薄冰，稍不留神，就可能遭遇滅頂之災，頃刻之間，身毀人亡。所以做人，還是自律一點好，免得一不留神跌入深淵，萬劫不複。
是儉是奢，這不僅是一個人的自我修養或品德問題，更是一種對生活的態度問題，真正的智者總能寧儉不奢，不僅一生平安快樂，也留下令人景仰的清聲令名。縱觀古今，那種追求奢華、生活糜爛的人，到頭來總落得身敗名裂，走向肉體和靈魂的雙重深淵。