杜甫以垂老之年人幕府，於嚴武“累年在蜀，肆誌逞欲，恣行猛政，窮極奢靡，賞賜無度”（錢謙益語）的情況便有了切實的接觸。杜甫一個既忠於友情，又不詢私情的人，出於多種考慮，他選擇了辭去官職，返歸草堂的君子自重的道路。永泰元年（765年）正月，杜甫在過了半年幕府生活之後，終於又回到了草堂。嚴武這年四月突然病逝，杜甫失去了可靠的好友，認為不能再在草堂住下去。
杜甫永泰元年（765年）初夏，把成都草堂留給杜占，自己帶著妻子兒女乘船東下。他便寫《去蜀》詩：
五載客蜀郡，一年居梓州。如何關塞阻，轉作瀟湖遊。世事已黃發，殘生隨白鷗。安危大臣在，何必淚長流。
回想往昔這是杜甫無可奈何的反語，說明他總是把個人的命運跟國家的安危緊密相連。
杜甫一家沿岷江東下，來到嘉州（今四川樂山），這裏有他的一位堂兄，兩家人相聚，住了幾日，杜甫一家又繼續乘船而下。五月中旬，過青溪驛；不久，到達渝州（四川重慶），為等一位朋友，便在渝州呆了一段時間。朋友沒來，杜甫一家先行，來到忠州（四川忠縣），並在忠州住了兩個多月。杜甫遊覽緬懷大禹治水的功績。寫了一首《禹廟》詩，
杜甫忠州啟程，沿江順流而下，途中作《旅夜抒懷》：
細草微風岸，危檣獨夜舟。星垂平野闊，月湧大江流。名豈文章著，官應老病休。飄飄何所似？天地一沙鷗。
杜甫行至雲安（四川雲陽），因肺病和風痹病發作，暫住在嚴縣令的水閣，約有半年時間。在此期間，朝廷派郭英又任西川節度使兼成都尹。郭在成都驕奢暴戾，士兵怨恨。他率兵攻擊西山兵馬使崔旰，反被打得大敗。崔籲以郭反叛為名，襲擊成都，殺淨郭的全家，郭也被普州刺史韓澄殺掉。於是，蜀中大亂，交通阻塞，商旅斷絕。杜甫便寫了《客居》詩：‘安得覆八溟，為君洗乾坤？”表現了他不老的雄心和願為國家安定有所作為的願望。
杜甫大曆元年（766年）春末，一家從雲安來到夔州。夔州屬山南東道，設有都督府，州治在魚複浦和西陵峽之間，瞿塘峽附近，與白帝城相連。杜甫一家舍舟登陸，暫居西閣。西閣在山上，前臨大江，後倚山崖，是一棟層軒高樓。登樓所見，風景壯美，杜甫便寫了《不離西閣二首》：
江雲飄素練，石壁斷空青。滄海先迎日，銀河倒列星。（《不離西閣二首》）：
還寫“草閣柴扉星散居，浪翻江黑雨飛初。山禽引子哺紅果，溪女得錢留白魚。”（《解悶十二首》其一）詩。
杜甫多次登臨白帝城，留下了不少吟詠白帝城。這些詩篇中的警句為白帝城描繪出一幅幅傳神的畫麵，並寫了：
“城峻隨天壁，樓高望女牆。江流思夏後，風至憶襄王。”（《上白帝城》）詩：
“江城含變態，一上一回新。天欲今朝雨，山歸萬古春。”（《上白帝城二首》其一）
杜甫還寫了《白帝城最高樓》：
“城尖徑昃旌旆愁，獨立縹緲之飛樓。峽坼雲霾龍虎臥，江清日抱黿鼉遊。扶桑西枝對斷石，弱水東影隨長流。杖藜歎世者誰子？泣血迸空回白頭。”
杜甫因為憂時歎世，更加景慕諸葛亮。他特意觀看了諸葛亮留下的八陣圖，並作詩《八陣圖》：
功蓋三分國，名成八陣圖。江流石不轉，遺恨失吞吳。
杜甫因觀八陣圖，以詩向自己心目中的英雄致以歌頌，也為諸葛亮沒能完成統一大業而深致惋歎。
杜甫這一時期，詠史抒懷的力作是《詠懷古跡五首》。三峽夔州一帶，多有宋玉、王昭君、劉備、諸葛亮、庾信等人遺跡，杜甫詠懷古跡，同時憑吊先人，也抒寫自己的身世家國之感。《詠懷古跡五首》
一以庾信自況：“支離東北風塵際，漂泊西南夫地間。三峽樓台淹日月，五溪衣服共雲山。羯胡事主終無賴，詞客哀時且未還。庾信平生最蕭瑟，暮年詩賦動江關。”
二緬懷宋玉：搖落深知宋玉悲，風流儒雅亦吾師。悵望千秋一灑淚，蕭條異代不同時。江山故宅空文藻，雲雨荒台豈夢思？最是楚宮俱泯滅，舟人指點到今疑。
三寫王昭君：群山萬壑赴荊門，生長明妃尚有村。一去紫台連朔漠，獨留青家向黃昏。畫圖省識春風麵，環佩空歸月夜魂。千載琵琶作胡語，分明怨恨曲中論。
四寫永安宮、追懷劉備：蜀主窺吳幸三峽，崩年亦在永安宮。翠華想像空山裏，玉殿虛無野寺中。古廟杉鬆巢水鶴，歲時伏臘走村翁。武侯祠屋長鄰近，一體君臣祭祀同。
五詠懷諸葛亮：諸葛大名垂宇宙，宗巨遺像肅清高。三分割據紆籌策，萬古雲霄一羽毛。伯仲之間見伊呂，指揮若定失蕭曹。運移漢作終難複，誌決身殲軍務勞。
杜甫這五首詩作為組詩，不單詠懷古跡，而且深寓了他的身世之慨。