經曆了幾十年的宦海沉浮、風雲跌宕，一朝罷官，奕訢心情反而倍感輕鬆，真可謂“無官一身輕”啦！尤其對已過知天命年齡且體弱多病的奕訢來講。當天收拾好軍機處內自己常用的筆墨紙硯等物件回到家中的時候，家人已經準備好了一桌豐盛的飯菜正等著他呢。多年來為國事奔波，也很少有閑暇顧及家人，奕訢內心多的是對家人的愧疚之情。望著愛妻和兒女們，他心中透著濃濃的暖意。
遠離了宮廷的喧囂，他決定開始過一般黎民百姓簡單清靜的小日子。吃罷飯，奕訢即命人將作為王府標誌的杏紅色堂簾子繩全部撤下，換成藍色繩，顯示恭王府與尋常百姓人家沒什麼區別；他自己則以平頭百姓自居，戴起了藍色小帽；並拾起了多年來因忙碌而棄置一旁的興趣愛好，遊山玩水、吟詩作詞、結交友朋，開始過起世外桃源般的生活。
自打小的時候，奕訢就被唐詩所散發的那樣一種無窮的魅力深深地吸引著。對其中很多優秀的詩篇，他都能熟讀成誦。他自己也進行創作，抒發情誌。年輕的時候，幾十年繁重的公務纏身，以致幾乎不知吟詩為何物了。今日重新拾起舊日的紙和筆，他感到萬分的快意，確實都有些生疏了，然而濃厚的興趣仍在。跨過時空的界限，他想到了北宋時的著名改革家王安石，他因變法遭到封建大地主和官僚層的反對後被迫辭官，晚年多以集唐詩消閑。時過八百餘年後，奕訢的境遇與他是如此的相同，曆史的場景常常這樣戲劇般巧合地上演著。與王安石有著相似境遇和心情的奕訢，逐步放棄年輕時致力於自創的詩路，也開始取唐詩於案頭，信手拈吟，消磨日月。
對於詩歌，奕訢有自己獨到的看法。他認為詩歌是人的心誌的自然流露，如果刻意雕琢、矯飾和約束，則不能達到自由地抒發情感的效果，因而他反對嚴格地遵守格律，而主張“情動於中，言行於外”。他的集句閑吟，也就如同他追求自由的個性一般，興致所至之時，為了書寫真情實感，他也會情不自禁地“狂吟”幾句。鑒於自身的身份、地位，尤其是慈禧對他的餘恨猶在，他傾訴的對象是有所考慮的。幾十年朝夕與共的摯友中，文祥已逝，現惟有寶鋆是他可以無話不對其說的老友，因而他給寶鋆的詩多為情感的真實流露。《朗潤園感懷》一詩，表達了奕訢對一生遠大抱負破滅和淒涼人生的慨歎，他寫道：
實事漸消虛事在，他生未卜此生休。
賦閑十餘年，經常與他一起唱和詩詞的還有七弟奕譞，曆事道鹹同光四朝以76歲高齡退休的董恂，侍讀誌銳，編修誌鈞及當時重臣李鴻章等。與朋友間的這種唱和生活，奕訢頗感快意。他在敘述這種生活時稱：“一年到頭閑居無事，僅以集句自娛，經常與佩蘅相國和樸庵弟往來唱和，幾乎沒有暇日。每次都遙想古人有文戰、筆戰、酒戰、茗戰、棋戰等名類，現在我們是以詩戰為命題。隻取興到筆隨，不重勾心鬥角。”佩蘅和樸庵分別為寶鋆的號和奕譞的字，這兩人是奕訢的主要詩友。
說起寶鋆的名和號，多年前奕訢和寶鋆之間開玩笑時的爽朗笑聲依然還在耳邊。據寶鋆弟子何德剛回憶，他們兩人經常開玩笑。一日將散值時，寶鋆出軍機值房小解，奕訢等了一會兒，寶鋆才回來，奕訢笑問道：“往何處撇寶去了？”撇寶是北京人稱解手的玩笑話，含一個“寶”字，寶鋆忙回應道：“哪裏，是出恭。”出恭也指解手，含一個“恭”字。你來我往，針鋒相對，兩人不禁互指對方，哈哈大笑。還有一次，奕訢從太廟出來，指著太廟中馱石碑的贔屭，對寶鋆說：“你看這個寶貝。”寶鋆，號佩蘅，貝、佩，音很相近。贔屭即龜，俗稱王八。寶鋆立即聽出，是恭王又在開他的玩笑了，他反應很快，馬上回答道：“這也是龍生九子之一。”傳說中龍生有九子，贔屭就是九子之一；恰好道光帝有九個皇子，奕訢是其中之一，那麼寶鋆的意思就是這贔屭也是奕訢你了。兩人的智慧和非同尋常的親密關係在談笑間得到了充分的顯現。
為避疑忌，奕訢的交遊麵並不廣；也因是遭西太後罷黜之人，很多人懾於太後勢力為求自保，也暗避之，當然這些人也不是奕訢想真正交往的。光緒十二年（1886年）春節，又逢立春，兩“春”相疊，本為吉日。往年車水馬龍的恭王府今年春節卻是“門前冷落車馬稀”，來拜賀的客人沒有幾個。鑒於體製的關係，自己是恭王，奕訢也不便先去拜訪別人。坐在家中，讀書習畫，也別有一番滋味！幾十年來他第一次真正感受到了自由的可貴，這也是他這次人生挫折的一大真切收獲。於是做《丙戌年元旦立春》詩一首，表達此時的心境，其中有這樣的句子：
富貴祝來何所遂，世間難得自由身。
光緒十四年正月（1888年2月），他再次撰文稱讚這種冷清生活的美妙。每日坐於書齋之中，集成一詩，按月編排次序。詩句雖集自於唐，但用典並不拘泥於古今，猶如畫家所用烘托之法。素擅詩詞的寶鋆對奕訢的詩詞給予了很高的讚譽，稱奕訢的詩是“月滿無虧，花生有筆，文章假我，天地皆春”。