自乾隆二十五年秋曹雪芹從江南回到北京西郊後，胸中充滿了許多的感慨，每日不是長籲就是短歎，偏偏這兩年的光景也不太平，除了大雨澇災之外，有幾件事都好像故意給他添堵似的。一是他的宗學故人，敦誠的老師孫灝先生和同在上書房的程景伊，都因罪而被解退了教授皇子的職任；二是，慎郡王胤禧亡逝，已由皇六子永瑢繼嗣。胤禧與曹雪芹頗有淵源。作為康熙帝的第二十一子，他是一位著名的宗室詩人與高人，專門喜歡結交寒素的讀書人，毫無富貴塵俗之分。雪芹在平郡王府裏讀書的時候，胤禧與福彭都很看重禦史謝濟世。那時，他也賞識過少小時的雪芹。他也就是《紅樓夢》裏的“北靜王爺”的原型（胤禧無子嗣，乾隆將自己的第六子永瑢過繼給他，作為他孫輩的承嗣人）。三是，乾隆二十七年五月，曹家的表親平郡王慶恒因為“欺罔隱匿”，被革去了王爵，與他同案的納延泰，竟被抄家籍產。六月，乾隆就加重了對原是漢人身份的漢軍旗人的刑律。如此一來，雪芹的周邊環境甚至命運，也越發地凋零不濟了。
乾隆二十七年（1762），入夏以來，每天都是揭不開的窮陰，剪不斷的愁雨。在這種天時條件下，曹雪芹每日隻以筆墨為遣。因為連下大雨以至少出門，脂硯齋從四月起至九月，對《石頭記》又進行了他的第五次批注，在《庚辰本》上留下了多處“壬午夏，雨窗”一類字的印記。等到秋末時節，雨水漸歇，曹雪芹終於可以出去逛一逛了。他早就想找敦家兄弟飲酒聚會了，以一吐胸中鬱結的悶氣。山下的路經過太陽的照射之後，已經變得不再泥濘難走了。真是天涼好個秋啊。雪芹決定，趁著天氣好去北京城內，拜訪一下久未相見的老友敦敏和敦誠。
北京的秋天，是一年四季裏最美的時節。白雲碧空，清風爽颯，草樹整齊青翠，秋花美麗多姿，比春天的景色還要“明媚”許多。敦誠之兄敦敏的宅園叫槐園。是個什麼樣的居所呢？關於槐園，敦誠有詩自注說：“兄家槐園，在太平湖側。”據清末震鈞《天咫偶聞》記載：“太平湖，在內城西南角樓下，太平街之極西邊。”槐園坐落於北京內城的盡西南角太平湖邊上，和東南角曹家老宅附近的泡子河正是遙遙相對。敦家兄弟在詩中記述有：“城西幽僻似村居”，“聚土成山勢，修然具林壑”，“荒園徑合青蘚斑，小齋壁染苔紋綏”，“門巷蕭條掩薜蘿”等。可見，這個宅園麵積不大，建築景點不多，幾間抱廈就是園主起居、讀書兼會客的場所。由於受到朝廷冷遇，槐園的命運如同主人一般凋零，宅園常年荒蕪，又無錢修葺。一座土山，長了幾株高大喬木，園路長了不少苔蘚，牆上生了許多綠毛，門樓上爬了一些野喇叭花一類的攀援植物。盡管荒涼，但曹雪芹卻常來這裏會見朋友，一起高談闊論，飲酒賦詩，一吐胸中塊壘，時光雖然短暫，心情卻非常愉悅。直到清末，槐園附近的景致還很可觀，所謂“平流十頃，地疑興慶之宮；高柳數章，人誤曲江之苑；當夕陽銜堞，水影涵樓，上下都作胭脂色：尤令過者流連不能去。”（注：震釣《天咫偶聞》卷二。）