759年夏天，杜甫回到華州，這裏鬧了旱災，天上久不打雷，沒有雨水滋潤，良田裏都飄起了黃埃。飛鳥被熱死，遊魚被曬幹，災荒逐漸蔓延，物價開始飆升。靠杜甫的那點俸祿，根本養活不了家人。而且，他覺得司功參軍這點小官，除了消磨時光，完全沒有意義。因為他明白，唐肅宗害怕唐玄宗奪權，就將房琯壓製下去，順帶著，也讓他失去了政治前途。
既然如此，杜甫思前想後，終於下定決心，選擇了辭官。
我們能想象，杜甫年輕時就以先祖杜預為榜樣，以當官為人生正道，如今無奈地辭官，放棄了夢想，內心該是多麼煎熬。但他歌頌一些古今的隱士，比如東漢不入州府的龐德公、東晉不為五鬥米折腰的陶淵明、本朝上疏歸隱的賀知章、終身不仕的孟浩然，以此來自我寬解。
杜甫棄官後，能去哪兒呢？長安物價高，住不起，也不願意去。去洛陽？相州敗後，洛陽再次卷入戰火，不是個好去處。於是，他隻能往西。恰好這時，他的一個侄子杜佐來信，說他在秦州（今甘肅天水）東柯穀蓋了幾間草堂，生活經營得不錯，而且那裏雨水充沛，糧食豐收，適合安居。
杜甫從杜佐的來信中得知，東柯穀山路曲折，林木繁茂，山穀裏藏著幾十戶人家，不會受到兵馬騷擾，是個好地方。再看那些人家，藤蔓遮著屋瓦，流水映著綠竹，真是生活愜意。再說說莊稼吧，那裏土地適合種粟米，向陽的山坡又適合種瓜，糧食是不用發愁的。杜甫看到這裏，心裏高興，覺得那幾乎是世外桃源，所以急切想去。
此外，他在長安時的老朋友讚公，因房琯案的牽連，也到了秦州，在西枝村（鄰近東柯穀）挖了幾座窯洞，也邀請杜甫前去。
杜甫迫於生計，就下定決心，帶著家人，翻越了兩千米高、山路九轉、令人心怯膽寒的隴山，曆盡艱難，終於抵達秦州，來到五十裏的東柯穀，寄住在杜佐的草堂。
但寄人籬下的日子畢竟不好過，於是杜甫在讚公的陪同下，在西枝村尋找建立草堂的土地，但終因錢財有限，沒有如願，隻好在秦州城裏找個便宜的寓所住下。
杜甫一沒當官，二不經商，三無存款，日子很快就陷入困頓。他寄信給杜佐，希望得到幫助。杜佐雖然是他侄子，也曾幫助過他，但日子一久，難免力不從心。
杜甫離開東柯穀時，杜佐答應過要送米來。誰想，杜甫等了好久，眼看要斷糧，也沒能等到，隻好寫信去催。可話又不能說得那麼透，他就寫了首含蓄的詩。
白露黃粱熟，分張素有期。
已應舂得細，頗覺寄來遲。
味豈同金菊，香宜配綠葵。
老人他日愛，正想滑流匙。
——《佐還山後寄三首》（其二）
杜甫在詩裏說：“節氣已經是白露了，黃粱米該成熟了。記得我們上回分別時，你曾答應要送米來。我知道，你沒忘，而是很貼心，想把米舂得更細一點，所以就顯得遲了。要說吧，這黃粱米要是與金菊同煮，再加一碗綠葵湯，那味道實在清香，是我老人家所喜愛的，現在一想起來，就情不自禁要去動湯匙了。”
杜甫就是這樣陪著小心，委屈地依賴別人過日子，心情當然是痛苦的。於是他開始采藥、賣藥，想貼補一些家用。但親友的幫助和賣藥的所得，都不能解決生活上的困難。他有時都窮得隻剩下一文錢了，也會寫首詩來自嘲：
翠柏苦猶食，明霞高可餐。
世人共鹵莽，吾道屬艱難。
不爨井晨凍，無衣床夜寒。
囊空恐羞澀，留得一錢看。
——《空囊》
杜甫說，翠柏的果實，雖然苦，但還能下咽。早晨的雲霞，雖然高，也想去采來充饑。世間之人哪，是非不分，唯利是圖，苟且偷生。
而我呢，不願同流合汙，要走正道，隻好活得艱難。如今家裏都揭不開鍋了，床上被褥抵不住嚴寒。再看看我的錢袋子吧，瞧它那幹癟的窩囊樣。算了，給它留一文錢吧，免得它太難堪。
杜甫的日子就苦到了這種程度。
在這種貧困寂寞之中，他特別需要朋友，於是給李白、鄭虔、嚴武等人寫詩，表達自己的思念。同時，他也關注時事。吐蕃靠近秦州，看大唐經曆安史之亂，起先還出兵平叛，但看清了唐朝的底細後，就起了野心，要來侵占土地了。杜甫為此非常著急，用詩寫出烽火不絕、邊境岌岌可危的實際情況。
杜甫在秦州住了不滿四個月，衣食住行全沒著落。正在走投無路的時候，同穀（今甘肅隴南）縣宰寫來了一封熱情洋溢的信，說同穀縣適合居住。那裏田地中盛產山藥，山崖上有甘甜的蜂蜜，竹林裏有香脆的冬筍。杜甫讀了信，心裏十分熱乎，覺得與這同穀縣宰雖未見麵，但情深意重，如同老朋友。於是，他決定到同穀去。
誰想，那同穀縣宰光說不練，是個嘴把式，讓杜甫陷入了平生最大的困苦之中。