紀曉嵐晚年，對圍棋有著濃厚的興趣。並且自號"觀弈道人"。他有兩套特別的棋子，都是天然石料，圓潤秀美，是朝鮮使臣鄭思賢贈給他的。黑子是海灘的碎石，被多少年的潮水衝激而成；白子是一種貝殼，也讓海水打磨得晶瑩透亮。
兩者雖不是難得的物品，但撿尋起來，取其厚薄均勻、輪廓圓滑、色澤一致的，卻要頗費功夫，非一朝一夕之力所能得到的。紀曉嵐非常喜愛這副棋子，放在書齋裏麵，閑來把玩，後來被其友人範大司農取去。範氏死後，不知棋子下落，曉嵐為之惋惜不已。
紀曉嵐與竹林寺主持了雲和尚，是一對棋友。一日午後，曉嵐趨訪竹林寺，時逢了雲和尚外出未歸，曉嵐就獨坐廊下等候。及了雲和尚歸來，曉嵐施禮誦道：竹林等僧歸，雙手拜四維羅漢；月門閑客住，二山出大小尖峰。"拜"，"四維"合為"羅"（"羅"字的繁體字為"羅"），下聯中"月門"合為"閑"（"閑"的繁體字為"閒"，"二山"合為"出"；"大小"顛倒相疊，正是一個"尖"字。上下兩聯，可謂絕妙之對兒。
曉嵐與了雲和尚，下棋起來便忘記一切，直至深夜仍不肯罷休。小和尚來報，夜深寺門已閉，曉嵐擲子以"閉"字出聯："門內有才方是閉"；了雲隨口答道："寺邊無日不知時"。
足見了雲和尚也是一位飽學的高僧。
在兵部尚書任上，紀曉嵐曾督師赴粵。有一天晚上，和一位王姓棋友下棋，曉嵐的棋藝本不如王某，但是一晚上卻連勝兩局，心中正感奇怪，意欲動問，王某卻先開了口："貴屬劉鼎臣，承蒙紀大人器重，感戴至深，如今有個請求，托兄弟代陳，不知該說不該說？"“噢，原來這就是你今晚輸棋的原因！"紀曉嵐麵有不悅之色，"有話請您講吧。"“事情是這樣的"，王某小心翼翼地說："劉兄想謀陽朔縣的縣令，希望紀大人鼎力成全。"“想做縣令，還要選地方？哪有這麼如意的事？"紀曉嵐的話語，帶著一股譏訕的意味。
"紀大人乃是當今朝廷的重臣，聖眷隆渥。如肯出麵保薦，想必不成問題。"王某陪著一副諂媚的笑臉，說出這幾句恭維之詞，顯然是事先準備好了的。
紀曉嵐站起身子，背剪雙手，搖搖頭說："倘若官可自擇，在下寧肯放棄一品大員不幹。做一名陽朔令，於願足矣！"“紀大人您真會說笑話！"王某不相信紀曉嵐的話。
紀曉嵐正色說道："這是我的肺腑之言，絕不是同你說笑話。"“這是為何？"王某不解地問。
"陽朔山水，秀甲天下！"紀曉嵐說："我閱兵過陽朔遊覽，至今仍夢寐不忘，若是能為陽朔令，置身畫山繡水之間，其樂無窮，何複他求？"王某囁嚅著還想再說什麼。紀曉嵐冷冷說聲："不必再講了。"說畢拂袖而入，從此不再跟王某下棋。
屬吏劉鼎臣，聽說這回事後，自慚形穢，便辭職離去了。
紀曉嵐棋癮雖大，但不計較勝負，他常引用蘇東坡的一句詩說："勝固欣然敗亦喜。"又極推崇王安石的觀點："戰罷兩套收黑白，一樣何處有虧成？"早年在家鄉讀書時，紀曉嵐曾聽從兄紀方洲講過一個故事：景城真武祠中，有一道士酷好下棋，人皆稱之"棋道士"，反倒隱沒了本來的姓名。一日，方洲來到棋道士居處，見幾上置一棋局，隻三十一子，心想是棋道士外出了，就坐下來等待。忽然聽窗外有喘息之聲，走出來看時，原是棋道士和一個人奪一棋子。四手相持，力竭一齊倒地，而喘息之聲大作。為爭一局勝負，爭執如此實在可笑。
紀曉嵐又曾聽從兄紀坦居講，丁卯鄉試時，見場中有兩個考生，畫號板為棋盤，拾碎炭為黑子，剔碎白灰塊為白子，對著不止，終場時，兩人一齊交了白卷。紀曉嵐認為，對弈之事，"消閑遣日，原不妨偶一為之；以為得失喜怒，則可以不必。"紀曉嵐浮沉宦海，對世態炎涼感受頗深，也將之比作局中對弈，更頗有一番哲理。他的結論是：不求勝負，"言則易耳"。
從烏魯木齊被召京城的那年冬天，有人拿來一幅《八仙對弈圖》，求他題詩。上麵畫的是韓湘子與何仙姑對局，呂洞賓、漢鍾離、藍采和、張國老和曹國舅，五仙旁觀，而鐵拐李超然局外，躺在樹下的石頭上，枕著葫蘆酣然而睡。此畫意境深遠，頗富啟迪人生的意義。紀曉嵐為之所動，題詩兩首。
其一
十八年來閱宦途，
此心久似水中鳧。
如何才踏春明路，
又看仙人對弈圖？
其二
局中局外兩沉吟，
猶是人間勝負心。
哪似頑仙癡不省，
春風蝴蝶睡鄉深。
紀曉嵐自跡生平，也同蘇東坡、王安石一樣，隻是說說罷了，未能自踐其言。他自號"觀弈道人"，也隻是一種良好的願望罷了。
他與和珅的爭鬥，此時期雖然顯得風平浪靜，但在心中一刻也未曾休止過。隻是曉嵐看皇上偏袒和珅，和珅更是有恃無恐。於是，曉嵐時時注意回避，避免與和珅正麵交鋒，像局外觀棋一樣，靜觀默察。
丙午年，和珅指使家人劉全，在京中買了一處地盤，為和珅營造府第。為了免除朝中大臣的議論和彈劾，一切事宜都用劉全的名義辦理。但其建造格局，超出了清廷的規製，被人們看了出來，引起朝官們的義憤。清朝建造房屋的規格是很多的。比如除皇帝外，任何人都不得用黃琉璃瓦和綠琉璃瓦；房的規模，王爺也不得超過六六三十六楹房屋的房間數，不得超過九百九十九間半。超過了便算違製，應受到處罰。
禦史曹錫寶與紀曉嵐私交甚深，曾隱語說出要參劾和珅，紀曉嵐也不好明說，就以宋人《詠蟹》詩中的兩句贈曹錫寶：水清詎免雙鼇黑，秋老難逃一背紅。
意思是說，現在參劾和珅，恐怕時機不夠成熟。但曹錫寶沒有聽從紀曉嵐的告誡，毅然上了一道奏章，參劾和珅家奴劉全建造房屋規模宏大、服用奢侈、器具完美，恐有倚借主勢，招搖撞騙之事。
乾隆皇帝當時在熱河行宮。看過奏折，心中明白"醉翁之意不在酒"，狀告劉全隻是虛晃一槍，鋒芒所指是對準了和珅的。皇帝知道曹錫寶與紀曉嵐有私交，便懷疑是紀曉嵐因上年海升毆死妻子吳雅氏一案，對和珅心懷仇恨，唆使曹錫寶參奏，以圖報複。
六月底的一天，紀曉嵐在直廬當值，忽聽傳來一聲："左都禦史紀昀接旨"。紀曉嵐趕忙跪在地上接旨，原來是乾隆皇帝給軍機大臣和他本人的諭旨："前據曹錫寶奏：和珅家人劉全房屋宏大、服用奢侈、器具完美恐有招搖撞騙等事一折，已交留京王大臣等查辦矣。曹錫寶如果見劉全倚藉主勢，乃徒托諸空言！或其言本欲參劾和珅而又不敢明言，故以家人為由，隱約其詞，旁敲側擊，以為將來波及地步乎？或竟係紀昀因上年海升毆死伊妻吳雅氏一案，和珅前往驗出真傷，心懷仇恨，嗾令曹錫寶參奏，以為報複之計乎？此乃朕揣度之意，若不出於此，則曹錫寶之奏何由而來？著留京王大臣，詳悉訪查詢問，務得實在情節。
朕於此案總期根究明白，並非因此一虛言欲治和珅，更非欲為和珅開脫。留京王大臣等不可誤會朕旨，將曹錫寶加以詞色，有意吹求，使原告轉為被告，亦無是理。務須平心靜氣，虛衷詳問。如曹錫寶果能指出全兒借端撞騙款跡，訪查得實，即一麵從嚴審辦，一麵據實具奏，不可同和珅稍存回護。若稍存回護，是乃陷和珅亦自陷也。"“又據和珅稱：家人全兒已到熱河，曾麵加詰問。伊供：'不但從不敢招搖滋事，交接官員，即所謂房屋寬敞，器具完美，容或有之，亦非可挾以出外之物。我於曹禦史名姓素未聞知，彼又何從目睹，等語，雖係一麵之詞，亦尚近理。曹錫寶身為言官，必不至下交奴仆，其車馬衣服，尚可雲遇諸路途，至房屋寬敞，器具完美，非身臨其地何能知悉乎？至全兒代伊主辦理崇文門稅務有年，稍有積蓄，蓋造房屋數十間居住，亦屬事理之常。從前及現在，內外大臣家人中似此者恐亦不少，若無似殷士俊等之有真髒實據，概以車服房舍之故，查拿治罪，則在京大臣之仆，安得人人而禁之！且必人人側足而立，亦斷無此政體。設或全兒在崇文門代伊主經營稅課，於額稅之外私有加增，若累商民以肥私囊，綿恩簽派番役，一經訪查無難得實。儻王大臣等嚴行察訪，全兒並無生事疑跡，而曹錫寶徒以無根之言，遽行陳奏，以博建白之名，朕又何能以空言遽入人罪乎？將此由四百裏諭令留京王大臣等並令紀昀知之。即將查訊情形先由四百裏馳奏，不必俟本報之使。欽此。"聽完皇上的諭旨，紀曉嵐不由驚出了一身冷汗。盡管皇上擺出的是一副公正無私不棄不倚的麵孔，但這裏邊的真意，正是對和珅的偏袒回護，紀曉嵐心想本來自己沒參與此事，是局外之人，皇上卻偏偏把他拉進來。假如曹錫寶不能指實，因而獲罪，就要株連到我頭上，這便成了對局者負局，觀弈者獲罪了。
紀曉嵐回到家中，坐臥不安，更不敢與曹錫寶接觸，唯恐授人把柄。那年因盧見曾案所受牽連，至今他心有餘悸。再說眼前這件事，如果不把別人牽扯進去，即使曹錫寶不能指實，皇上也可能會寬宥。因為皇上常以明君自喻，擺出了一副從容納諫的姿態。一旦牽扯到別人，則成了陰謀諂害，問題性質就變了，保不準皇上多疑，一怒之下會從重發落。
有人從熱河回京，紀曉嵐派人探聽和珅的情況，聽說和珅處之泰然，似乎此案與他毫無瓜葛。這下紀曉嵐更擔心了，和珅恃寵仗勢以守為攻。以此看來，曹錫寶這方麵凶多吉少。
紀曉嵐懷著恐懼的心情，寫下了一首《又題秋山獨眺圖》：秋山高不極，盤磴入煙霧。
仄徑莓苔滑，猿猱不放步。
杖策陟巉岩，披榛尋微路。
直上萬峰巔，振衣獨四顧。
秋風天半來，奮迅號林樹。
俯見豺狼蹲，側聞虎豹怒。
立久心茫茫，悄然生恐懼。
置身豈不高？時有蹉跌慮。
徒倚將何依，淒切悲霜露。
微言如可聞，冀與孫登遇。
事態的發展正如紀曉嵐擔心的那樣，皇上回護著和珅，及其家奴劉全，卻諭令軍機大臣，殺氣騰騰地逼向了曹錫寶。曹錫寶身為禦史必不下交奴仆，交則罪在不赦，不交又何以知道劉全房屋寬敞，器具完美？軍機大臣們按照皇上諭令中所授機宜，不去糾察和珅家奴劉全，卻將鋒芒轉向了原告曹錫寶。曹錫寶隻好說道："我與和珅家人全兒向來從不認識，即伊在崇文門管理稅務，我並不知道，伊於額稅之外有無擅自增加另項情弊亦未有人說過。我因聞全兒住房服用甚是完美，於路過興化寺街留心察看，見其房屋甚是高大，我想伊係家奴，焉有多資造此華屋？恐有借主人名目招搖撞騙之事，是以具奏。"曹錫寶這樣回複，乾隆皇帝仍不滿意，繼續窮追不舍，大有不揪出幕後之人而不罷休之勢，又諭令軍機大臣等："曹錫寶既雲全兒情弊從未有人說過，又未親到伊家，何以又稱'聞全兒住房服用甚是完美'。究竟聞自何人？
必有著落，非有人說過，則曹錫寶何以知全兒往興化寺街，而經過時即留心察看？況京城內外，大街小巷，房屋甚多，禦史又無逐戶查訪之理，若非中有成見，何以獨於全兒住屋如此留意耶？著王大臣令將全兒滋事不法之處究竟聞自何人，據實明言，毋再任期狡飾，並令都察院堂官及步軍統領衙門司官一員，帶同曹錫寶，先至劉全家查看，再到阿桂等官家及用事人家住處周曆查看，如各大臣家人住房並無如全兒之多，即治以越製之罪；若阿桂等家管事家人住房有全兒多且大者，則當詰問曹錫寶何以專不參劾之故。"乾隆包庇和珅及其家奴全兒的態度，已經畢露無遺。曹錫寶後悔沒聽紀曉嵐的勸告，多言招禍，隻好硬著頭皮，咬定紀曉嵐沒參與此事。最後乾隆以曹錫寶參奏不實，給以革職留任處分，沒有擴大事態，釀成大獄。紀曉嵐在驚恐中度過幾月，心裏才踏實了一些。自此而後，紀曉嵐更加小心謹慎。但當時株連之獄頻興，他心中也沒底，不知道別人會不會將他牽連進去。
乾隆五十五年，發生了內閣學士尹壯圖參奏案，紀曉嵐與壯圖之父尹鬆林為甲戌同年，壯圖入詞館後，又常以詩文製作請教，交往頗密。此案雖沒明顯涉及紀曉嵐，但株連之懼又著實使他捏了一把冷汗。
這年，正是乾隆皇上的八十萬壽，紀曉嵐為了討得皇上的歡心，寫下了大量歌功頌德、逢迎阿諛的文字，除了前後提到的八旬萬壽聯，尚有《八旬萬壽錦屏賦》、《蠻陬貢象頌》、《禮部恭請舉行萬壽聖節慶典事折子》、《恭謝八旬萬壽升秩貸宗展儀闋裏直隸廣學額免積久加賑一月折子》、《禦製節前禦園賜宴席中得句恭跋》、《禦製壽民詩恭跋》、《禦製八徵耄念之寶恭跋》等，而在那篇"祈增舜壽"的《祝釐茂典記》中，駢四儷六，洋洋灑灑，全麵歌頌了這位臨禦五十五年的皇帝的文治武功，弘曆簡直是功蓋三皇，德高五帝，對比堯舜，千古以來第一名英明偉大的皇帝。試看其中幾句："乾元各正，雖溥育天寰中；巽命重申，再加施於格外；更於頒詔之後，命普免天下錢糧。九州成賦，為數原多，一體蠲征。承因最溥，滋培有素，已兩停轉粟之舟；敷錫無疆，又四輟催租之吏。膏雨一時而再降，九穀增蕃；福星每歲而移躔，三年遍到，固宜堯封禹甸，人人後舞而前歌"乾隆看這篇祝頌文章，在眾多的頌揚文字中，最為華美，當然十分滿意，飄飄然幾列仙班。偏偏在這年十一月，服闋仍授內閣學士的尹壯圖，不識時務，直言參奏："近有嚴罰示懲而反鄰寬縱者，如督撫自蹈愆尤，不既罷斥，罰銀數萬兩以充公用，因有督撫等自認應罰若幹萬兩者，在桀驁之督撫借口以快饕餮之私，既清廉自矢者不得不望屬員傾助，日後遇有虧空營私重案，不容不曲為庇護。是罰項雖嚴，不惟無以動其愧懼之心。且潛告其玩易之念，清水停罰銀之例，將罰項改記大過若幹次。如才具平常者，或即罷斥，或量與京職，毋許再膺外任。"本來尹壯圖是一片忠心，直陳弊政，但他卻是不識時務，顯得執拗、天真和迂闊了。奏折觸怒了乾隆皇帝，令他將其所指督撫是誰？逢迎上司者是誰？借端勒派致有虧空庫項者何人？一一指實。
尹壯圖複奏："各督撫聲名狼藉，吏治廢弛。經過各省地方，體察官吏賢否，商民皆蹙額興歎，各省風氣大抵皆然。若問勒派逢迎之人，彼上司屬員授受時，外人豈能得見？徒以道路風聞，漫形牘奏"這與紀曉嵐的："堯封禹甸，人人後舞而前歌"，是何等地不同？於是更加觸痛了弘曆的逆麟。皇帝在上諭中這樣寫道："朕披覽再三，折內並未指實一人一事，仍係摭拾浮辭，空言支飾朕臨禦五十五年，子惠元元，恩施優渥，普免天下錢糧四次，普免各省漕糧二次，為數何諦萬萬？偶遇水害天災，不惜千百萬帑金補助，撫恤賑貸兼施，蔀屋窮簷共占實惠，凡身披恩膏者，無不家喻戶曉。小民等俱有天良，方將感戴之不暇，何至蹙額興歎相聚怨谘？或係尹壯圖往來途次，聞有一二小民為胥役擾累者，向其陳訴，尹壯圖亦即當據實奏聞，朕必差大臣往辦。但此係聞之何人？於何處見此情狀，亦令其據實指出。即所言月選官傳說缺分美惡，虧空數目，似屬確有見聞，據以入告，而折內又雲僅屬風聞，並未目擊，究竟此等傳聞之語，出自何人，其絕無姓名可指乎？
尹壯圖又請簡派滿州大臣同伊密往各省盤查虧空。不但朝廷無此政體，且各省吏治不同，庫項充盈者無待盤查，即或偶有虧短之處，一聞欽差啟程信息，早已設法彌補，名曰盤查，仍屬有名無實。合計天下州縣不少千餘，即使經曆數年尚不能盤查周遍，在尹壯圖之意亦知事有難行，不過自揣學問才具均屬平庸，內而不能升任侍郎，外而不能簡派學政，至尚書、督撫之任更難夢想，欲借此奏見長或幸錄用，又可借盤查之名，沿途嚇詐，希得資助，可以名利兼收。此等居心，豈能逃朕洞察？朕自禦極以來，至今五十五年，壽躋入帙，綜覽萬機，自謂親政愛民，可告無愧於天下；而天下萬民亦斷不泯良怨朕者。此據歸政之期僅有數載，猶恐年髦倦勤，稍有弛懈，惟自孜孜，冀仰答昊蒼鴻貺。每於召見內外大小臣工時，以朕辦理庶務情形，時加谘訪，僉稱朕精神強固，辦事日益勤勵。若如尹壯圖所奏，則大小臣工等皆係虛詞貢諛，麵為欺罔，而朕五十餘年來竟係被人蒙蔽，於外間一切情形全無照察終於不知矣。著尹壯圖將所奏直隸等省虧空者何處？