碰巧，在這株大樹北麵不遠的地方，有個由高向低的坡坎。一戶窮人家，在那個坡坎處蓋了一個房子。這房子一麵利用坡坎挖掘成牆，一麵再另砌新牆，上麵蓋上苫。由於前來看官兒的人多，再加上喧嚷聲大，把正在附近吃草的一個牛犢嚇驚了。那牛犢兒沒處去，就沿著那個坡坎跑到了這家房頂上了。
這時，紀曉嵐抬頭一望，看見了搖掛在樹上的紡車；一回身，又看見了跑上地窨子房頂的牛犢兒。於是，他心機一動，拉著父親的衣袖說：“你看，這不是車上了樹、牛上了房嗎？咱們就住在這兒吧！”紀曉嵐的父親看了一看，接著又打量了一下這裏的地形地貌，隻見這裏三麵環河，一麵著陸，交通豁達，樹木繁茂，物產豐饒，真也是個好地方。於是便在這兒定居下來。古代的人都迷信風水，紀曉嵐相信，就是家人選擇的這一塊“風水寶地”，才有了他以後的博學才華和高官厚爵。
清代文獻中都有記載，紀曉嵐是個大胖子，喜歡用大煙袋鍋子。他大約從30歲以後開始發胖，身材偏矮，遠遠地望去猶如水桶一般。而紀曉嵐的對頭和珅，則是乾隆年間著名的美男子，精通滿、漢、藏等多種語言，尤其擅詩文。乾隆用人不僅要能幹的，還喜歡長得英俊的。
相貌醜陋卻偏偏又碰上乾隆，所以即使他再才華橫溢，也難得到真正的重視，隻能以文字安身立命。紀曉嵐隻能做乾隆的詞臣，而難以做乾隆的寵臣、重臣。他一生中兩次任鄉試考官，六次任會試考官，三次任禮部尚書，均是這種際遇的體現。這種官職並無重權、實權，隻是大清朝廷的擺設而已。
即便是乾隆派他出任督察院，因判案不力，本應受罰，乾隆卻說：“這次派任的紀曉嵐，本係無用腐儒，本來隻不過是湊個數而已，況且他並不熟悉刑名等事務，又是近視眼，他所犯的過錯情有可原。”可見，皇帝並不對他寄予厚望。
有一次，內閣學士尹壯圖指陳弊政，稱各省督撫“聲名狼藉，吏治廢弛。我經過各省地方，問起官吏的好壞，人們都皺眉歎息，各省風氣大抵皆然”。由於這些話惹惱了年歲已高、再也聽不進忠言的乾隆，結果軍機大臣要將尹壯圖擬斬。尹壯圖之父尹鬆林與紀曉嵐是同年進士，當紀曉嵐打算為尹壯圖求情時，乾隆勃然大怒，當即罵道：“朕以你文學優長，故使領四庫書，實不過以倡優蓄之，爾何妄談國事！”原來，皇帝讓紀曉嵐總纂《四庫全書》，並不是真正把他當成獨當一麵的重臣。