杜甫在嶽陽呆了一段時間，又去了衡州、潭州。不料潭州卻發生了兵變。城內火光衝天，殺聲四起。杜甫叫苦不迭，隻得又一次開始了逃難。這時他已百病纏身，耗盡了脂膏，瘦得隻剩下一副枯骨，滿是補丁的單薄舊袍子，空空蕩蕩地掛在身上。他一家子隨著難民，在湘江上無助地漂蕩。
一匹白馬從東北麵跑來，氣喘籲籲，滿身血汙，低頭在江裏飲水。
背上有副空鞍，身上插著兩支利箭，傷口還在淌血。
杜甫是好心的，他讓船靠岸，又讓宗文、宗武登上岸去，將馬安撫好，把利箭拔出。楊氏早準備好了藥，敷在白馬的傷口上。白馬痛了一會兒，就臥在地上休息了。
宗武摸著馬背，回頭問道：“爹，你說，這馬是打哪兒來的？”
杜甫說：“還能是哪裏呢？東北麵，肯定是潭州啊。”
宗武天真地問：“那它的主人呢？”
杜甫沒有回答。他看著白馬，仿佛看到空鞍上，曾經坐過的那位英武少年，就像三十年前的自己一樣，意氣風發，以為靠胯下馬、腰中劍，就可澄清乾坤。唉，一陣命運的亂箭過後，少年人就跌落馬塵中了。
其實，除了亂箭，還有許多原因讓人死亡。賊寇、官兵、賦稅、饑餓、寒暑、流離，在這十餘年裏，已讓全國人口減少了十之七八。大唐的強盛，早已一去不複返了。他曾以為，唐肅宗收複兩京，唐朝就能中興。其實，安史之亂，隻是紛爭的開始，如今軍閥混戰，外族入侵，大唐已永無寧日。
杜甫又在歎息了。
他用苦澀的目光，打量著寬廣的天地，卻沒有寸土可以容身。妻兒悲戚地跟隨著他，前路茫茫，不免又會想起成都和夔州的安穩歲月，有時也會抱怨哀歎。杜甫無力反駁，隻知道川蜀大亂、湖南大亂，退路已被戰火阻斷，他們已經回不去了。
他們到了衡州，度過一個夏天，一家人商量了一番，還是選擇沿著湘江往南，去郴州。在那裏，杜甫有個族舅，名叫崔偉，正擔任郴州錄事參軍，雖說官職不大，但到底是親戚，或許可以得到一些幫助，勝過在衡州苦熬。
於是，他們從湘江進入郴水，剛到耒陽縣，隻見前方大水茫茫，浩無邊際。渾黃的洪水汩汩滔滔，漂著樹枝、茅草、牛羊的屍體。這讓杜甫想到了十四年前，他們初次逃難，在三川縣同樣遇到了這樣的水災。當年他可以涉險而過，但如今呢，他已心力不濟。於是他們被困在了方田驛，絕糧五天，連一口幹淨水都不容易得到，眼看就要饑渴而死。耒陽縣令雪中送炭，送來了白酒和牛肉，及時挽救了杜甫一家。
一家人吃飽喝足，心裏稍微安定了一點。可接下來，他們該往哪裏去呢？
楊氏說：“南下已不可能。其實，我早就想，即便到了郴州，舅父又能幫助我們多少？亂世之中，人人自顧不暇，又有多少能力來照料我們這一大家子呢？”
杜甫聽了，也沉默不語。這些年東奔西走，遇到的親戚、朋友也不算少，但真能幫得上忙的，也隻有嚴武和柏茂琳。
兒子宗文問道：“那我們該怎麼辦呢？”
杜甫沉吟了許久，眼裏忽然放射出堅定的光芒，說：“還是要回長安。到了那兒，我們起碼還有幾間草房，幾畝薄田，能有個著落。”
於是，他說出了去長安的路線，先沿著湘江，往北到嶽州，再沿長江到鄂州（今湖北武漢），然後轉入漢水，一直往西北去，可以抵達長安。