——《奉和嚴公軍城早秋》
杜甫說，秋風吹動著大旗，主帥分弓射退了敵人，現在收複了滴博，還要奪取雪嶺之外的吐蕃蓬婆城。他對嚴武寄予極大的希望。
果然，嚴武用兵如神，九月時，大破吐蕃七萬大軍，攻克當狗城，收複鹽川城，然後派兵一路追擊，擴地數百裏，讓唐朝西陲得以安寧，立下大功。
杜甫在他的麾下，也是兢兢業業，寫出《東西兩川說》，談論邊疆的諸多問題，同時希望減輕稅負，顯示出他在政治軍事方麵的才能。嚴武對他也很不錯，大破吐蕃之後，就領著他去北池眺望，在摩訶池泛舟，同賞岷山畫作，同時詩歌唱和，交情非常親密。
然而，就在這黃金時間，杜甫卻越來越覺苦悶，想要離開幕府。
這很讓人奇怪。
杜甫自己說，幕府裏很受拘束，每天都是天剛亮就入府辦公，夜晚才能出來。他身體又壞，坐久了就會四肢麻木，此外，偏頭痛、肺病也時常發作。讓他一個白發老人，穿著緊窄的軍衣，整天在幕府裏奔走，實在難以勝任。
此外，他又覺得，幕府裏的同僚關係複雜，讓他不能適應。那幫年輕人，對上司阿諛奉承，對同僚勾心鬥角。杜甫心高氣傲，哪裏願意和這些陽奉陰違的小人為伍？
於是，他一遍又一遍地想念草堂的綠竹和桃花了。
其實，他還有一個原因沒有明說。他和嚴武看似親密，但實際上相處時間一久，也有了些裂痕。
嚴武這個人，少年得誌，也有軍事才能，但性格非常粗暴。當初曾厚待過杜甫的章彝，因為一點小錯，就被嚴武亂棍打死。雖說他那樣做，是為了穩定局勢，但手段未免毒辣。另外，他生活奢侈，一高興，就能賞賜一百萬錢。四川雖然富裕，但也經不起他這樣折騰。賦稅越來越高，老百姓就吃不消了。
這一點，讓杜甫非常失望。
他在寂靜的夜裏，獨自住在府中，看到井邊梧桐冷冷清清，燭光抖抖索索，光線暗淡，同時聽到長夜裏的號角聲，就像人的悲語。而天上的一輪明月，雖然清亮美麗，誰又有心情抬頭去看呢。他的心裏越發淒涼了，想到了自己不幸的身世，戰亂之中，四處漂泊，親朋音書皆斷，想要回故鄉，一想到關塞零落蕭條，行路十分艱難，就隻能哀歎。
唉，顛沛流離了十年，勉強暫借幕府偷安。可這樣的日子，真的是自己想要的嗎？他將這種心情，寫在了詩裏。
清秋幕府井梧寒，獨宿江城蠟炬殘。
永夜角聲悲自語，中天月色好誰看？
風塵荏苒音書絕，關塞蕭條行路難。
已忍伶俜十年事，強移棲息一枝安。
——《宿府》
顯然，杜甫難以忍受。
於是，他一再給嚴武寫詩，希望辭職回到草堂，去做個普通的農夫。到了765年正月三日，他終於如願，回到了草堂，砍伐肆意亂長的惡竹，鏟除有毒的雜草，還寫詩邀請嚴武來草堂，就像當初嚴武剛來成都時一樣。但或許是公務繁忙，或許是友情淡漠，嚴武並沒有受邀而來。
四月，嚴武忽然暴病身亡，享年四十歲。
杜甫在成都失去了依靠，隻好帶領家人，在五月離開草堂，乘舟東下了。這時，他內心無比淒涼，覺得自己既老且病，餘下的殘生，隻能如白鷗一般漂泊了。
這年，杜甫五十四歲。