他和正經學府合不來；和學究們不好相處，那是可信的。離開以後或許是沒有再謀差使，或許是沒有門路謀，他去了鄉下，到西山旗地過起貧寒日子來了。
好友敦誠也當差使出了遠門，想念曹雪芹，寫詩說曹是魏武曹操的後代，如今落魄在蓬蒿滿目的山村。當年江南的繁華夢早已消失，富貴如浮雲，不再有幻想。安心像司馬相如開小酒店那樣，穿起土布短衣，雖說貧賤，卻是自食其力。
曹雪芹初到香山，照旗營規定，每月可以領到“月例銀”四兩，每季度可領一石七鬥米。他住三間草房，和原配夫人一起，還生育了一個男孩。旗營發放的錢糧，實不夠生活，他又不會農活，又散漫不理會家計，生活可想而知十分困難。
曹雪芹住在幾間茅草屋裏。家裏除了盆盆罐罐就隻有一張破舊的繩床、一條板凳和一張桌子了。門前不遠處是一片樹林，一條雜草叢生、彎彎曲曲的小路通向村外，一切都顯得那麼寂寞、淒涼。隻有院子裏的幾棵嫩竹、幾株鮮花，給這裏增添了幾分生氣。
沒有經濟來源，全家人常常靠喝粥充饑。曹雪芹偏偏又愛喝酒。有一回，他在小酒店喝完了酒，才發現身上連一文錢也沒有了，隻好對店主人說：
“我給你畫張畫吧，賣畫的錢就頂我欠你的酒錢。”
店主人還不知道曹雪芹的畫好，有些半信半疑地接過畫，等到托人把畫賣了，價錢果然不錯。以後曹雪芹就常常以畫換酒了。
貧困的生活沒有壓倒曹雪芹，反倒使他在這裏嚐到了身處恬靜、自然的田園的樂趣。每天清晨，他都要來到樹林裏，舞上一會寶劍。
這樣的時候，若是遇見意氣相投的朋友，就會一見如故，或相見恨晚。他遠離市井，疏遠了富親貴戚，冷淡了熱衷科場的人物，那“五日京兆”，宦海浮沉，更是眼不見為淨。他是“離群”，但不“索居”；他有“幻滅”，但仍有“追求”；他家徒四壁，但胸有塊壘；他落荒，但不出世。如果不是這樣，怎麼可能完成這麼一部光芒四射的大書！
有一位村塾）教師張宜泉，是內務府漢軍鑲黃旗人，祖先也曾以戰功授勳，有過富麗的宅第庭園。13歲亡父，受哥嫂虐待，家道也日益敗落。他離家混日子，流落到西山旗營，在山鄉私塾裏，教幾個孩子糊口。喜歡飲酒做詩，詩集的序言中說：“家門不幸，書劍飄零，30年來，百無一就。”
張宜泉與曹雪芹結識以後，有時曹雪芹去看他，他就“破灶添新火，春燈結細花”，放懷縱談，也就是如今說的“侃大山”或“砍大山”，直“砍”到明月西斜，天邊露白，興奮得不能夠睡覺。有時張宜泉來訪曹雪芹，也離不了詩、酒、琴和相對相“砍”。都“砍”些什麼？從張宜泉留下的詩集中，可以看見這位塾師的傲骨、憤世、壯懷，還有詼諧和放達，性格上兩人也有相似。
還有的詩裏，隱約露出對政治的譏諷，照當時“文字獄”的做法，若被摘錄揭發，可夠殺身滅族的了。
乾隆二十六年（1761）初秋，曹雪芹長久沒有進城了，敦敏敦誠兄弟想念起來，一同下鄉來看望，走曲折小徑，見門前雜草荒涼，茅屋破敗蕭條，不勝感慨，兩人都寫了詩。
從這些詩裏，可以看見住處荒僻，生活更加困苦了，全家喝稀粥，賣畫付酒賬。來了人還熱情賒酒留客，喝多了酒還似阮籍那樣翻白眼，藐視世態炎涼。
曹雪芹在西山窮居寫書中間，還和瘸腿的於叔度、病目的白媼等人交往，還為殘疾人盡心盡力做過好事。
這時，曹雪芹也困難長久了。就是給他幾個錢，這麼一大家子，也起不了多少作用。總要想個什麼頂用的辦法才好。這時，他聽說，公子哥兒買個風箏，“一擲數十金”，夠他們家吃用幾個月了。
恰巧曹雪芹愛玩風箏，不時自紮自玩，日久，玩出行道來了。身邊有現成的竹紙，說著就動手，連紮帶糊又畫了幾個，交給朋友拿去，說不定能混兩天日子。
不想除夕那天，朋友頂著雪花，牽著驢來了，驢背上馱著鴨、酒、菜、果，歡歡喜喜告訴曹雪芹，那幾個風箏，竟賣了個好價錢，可以過一個肥年了。
3.著書與辭世
在西山的大部分時間，曹雪芹回到家裏，便在破舊的書桌上鋪開紙筆，開始凝神寫作。每當這時候，那些消逝的歲月和許許多多熟悉的人物都一齊浮現在他的腦海裏，催促著他不停地寫下去。曹雪芹常常忘記了是在寫書，而把自己同書中人物的命運緊緊地聯係在一起了。寫到動情的地方，他甚至激動得伏案大哭。他經常把紙筆掖加在腰間，不管走到哪裏，隻要看到或想到可以寫進書裏的情節，就馬上掏出紙筆寫起來。
有一回，他正陪—個朋友在酒館裏喝酒聊天。說著說著，他忽然打住了話頭兒，眼也發直了。