除唱和賦詩之外，恭府也偶有些小規模的熱鬧，如奕訢在朗潤園中為寶鋆和董恂慶賀八十大壽，人活八十古來稀，值得慶賀。他還為誌銳、誌鈞題《同聽秋聲圖》，為李鴻章寫《贈李少荃相國十二韻》。在清流派皆謾罵李鴻章無才無能隻懂求和的情形下，他始終認為李鴻章是以多才而任將相，為國家立下了汗馬功勞。
在賦閑養疾的這十年中，奕訢的家庭也經曆了一些變故。在經曆了連續的喪妻、喪子和喪友的苦痛之後，奕訢更加感悟到了人生的無限悲涼。
光緒十一年（1885年），愛子載潢不幸夭折，奕訢鬱結於懷，舊病複發，長久醫治都不見功效。醫生和家人都建議他出去散散心。奕訢接受大家的建議，帶上家人和侍衛，乘小車，隨身攜帶數卷唐詩，由昆明湖泛舟到玉泉山，又由文昌閣過繡綺橋到萬壽寺、龍泉庵、香界寺、寶珠洞等地，然後來到普覺寺，共遊曆了40餘日。
行遊至普覺寺時，30餘年前的一幕又清晰地浮現在眼前，恍如昨日。鹹豐二年（1852年），他曾與鹹豐帝一同來此寺中，今日舊地重遊，可奈已物是人非，他不禁感歎吟道：
寥落悲前事，回頭總是情；
僻居人不到，今夜月分明。
地古煙塵暗，身微俗慮並。
水深魚極樂，照膽玉泉清。
奕訢邊走邊吟，寫下了很多詩篇。在“鬆竹清幽”禪房與慈雲方丈的一席“淨話”之談，將他的一切煩慮驟然蕩滌。行至藥王殿時，他向藥王祈求保佑家人皆身體健康，凡事平安。之後他又遊了極樂峰、太古觀音洞，或對雨吟詩，或春晚散步，或遠眺群山，心中鬱結漸漸化解。遊至退居庵時，他又向86歲高齡的瑞雲禪師請教健身方法，之後才踏上回家的路途。
這次散心遊玩，喪子之痛猶存，然而心情與起初相比是平靜多了，身體也大大恢複了。奕訢決定將一年多來集的詩編輯成冊，這年五月，《萃錦吟》卷一整理編定。集子中的詩集中反映了奕訢這一段時期的思想和經曆。
幼子載潢夭折後不到六個月，這年夏季，奕訢長子載瀓病死，時年28歲。剛剛康複的奕訢接二連三地遭受失去親人的打擊，再次病倒了，他悲憤交集，寫下《秋夜詠懷》詩一首，抒解心中的悲痛。這一年奕訢已經54歲，近年來連續喪亡四妻，三子女，使他的精神瀕於崩潰的邊緣。在親友勸告下，他再度遊西山，但心情難與上次一樣得到平複。他感歎上天為什麼如此地對待他，無論家事政途，都是如此不順，多年來一直否定天象、天命說的他開始信命了！這一時期，他寫下了悼亡組詩，以寄托對逝去的妻子兒女的無限的哀思。在以下這一首悼妻詞中，淒淒慘慘心境盡現：
眼應穿，人不見，花殘菊破叢，灑思臨風亂。無言獨上西樓，愁卻等閑分散。黃昏微雨畫簾垂，話別情多聲欲戰。
在另一首悼兒詞中，他的感傷不禁催人淚下：
花淡薄，雨菲菲，傷心小兒女，相見也依依，綠倒紅飄欲盡，晚窗斜界殘暉，無由並寫春風恨，不覺汍瀾又濕衣。
接連的傷痛無情地折磨著本已體弱心疲的奕訢，他遵照舊製，開始在昌平縣翠華山，一個霧氣繚繞的猶如人間仙境的地方為自己營造陵墓。墓旁的塋廬橫匾取“樂道堂”三字，這是道光帝生前留給他的為其一生所珍視的墨寶，奕訢用它命名他的歸宿之地。
為置身凡塵俗世之外，平息傷痛，消磨時光，他離開京城，到十裏外的戒台寺長期居住。整日與僧人為伍，每天以經卷為伴。在這期間，又發生了一些變故。對奕訢心緒影響較大的，是七弟奕譞和老友寶鋆的逝去。
七弟奕譞執掌軍機處後，在對慈禧的態度上與奕訢截然不同，他極力迎合、滿足慈禧的享樂欲望和權力欲望。中法戰爭剛剛結束的那年六月，大權獨攬的慈禧即發布懿旨修因同治帝的死而未開工的三海工程，次年，又決定修頤和園。這兩項工程耗資巨大，已千瘡百孔的清帝國難以承受，慈禧決定挪用海軍軍費，同時授意李鴻章以海軍衙門籌款以備急需的名義，向兩江總督曾國荃和兩廣總督張之洞分別勒捐二百六十萬兩白銀。晚清官場黑暗腐敗，賣官鬻爵，貪汙賄賂自此漸成風氣。
為了討好慈禧，奕譞費盡心思。光緒十二年（1886年），光緒帝16歲，已到親政年齡，按祖製，慈禧應該歸政了。奕譞知道嗜權如命的慈禧極不願意歸政。為迎合慈禧攬權不放的心理，他以光緒帝生父的身份，開始積極策劃請慈禧繼續“訓政”的假歸政。他帶頭上奏“籲懇皇太後訓政”，在奏折中極力美化慈禧垂簾聽政以來的“文治武功”；為了壯大聲勢，他還指使世鐸等人也異口同聲地請慈禧再行訓政數年，且擬定詳細的《訓政細則》，以保證訓政的順利進行。
兩年之後，光緒帝要大婚了，慈禧再不歸政就不成體統了，於是宣布在光緒帝大婚後的二月三日（1889年3月4日）正式歸政。這時，奕譞又“主動”指使軍機處擬折，提出“親政後，皇上每日披閱的奏折，仍須交由太後慈覽；對各級官吏的任命，由軍機大臣擬定後，皇上奏明皇太後，次日再降諭旨”等等。他又同世鐸“麵商”，準備像《訓政細則》一樣，擬定一“條目”，確保提議中太後權力的行使。由於奕譞的“努力”，大婚後的光緒帝仍是隻有親政之名，而無其實，一切用人行政大權皆掌控於西太後慈禧手中，直至光緒帝生命結束，都始終沒能走出慈禧的陰影。