如此星辰如此日夜，他隻能沉醉酒鄉，歎浮名如水，隻能佇立殘陽，期待最後的歸去。
在那段賦閑的歲月裏，為了填補心靈的寂寞，容若“擁書千卷、旁覽百氏、肆力於詩古文辭，乃至撰經解序、著《大易集義粹言》等”，並與一幫江南士人於淥水亭唱和。這使他得到安慰，也使他重新思索自己的人生道路。長期的賦閑和盧氏的意外夭亡，使容若原本熱烈的仕宦之心變得淡了。在奮力一躍之前，他遭到了劇烈的阻擋。這阻擋，成為他日後從仕途中逃跑的一種慣性。但更重要的是，容若並不甘心。
容若本有濟世之心和濟世之才，本應該去翰林院深造，或到地方任親民之官。生來富貴的他不需要金錢，需要的是一展誌向的廣闊天地，但事不遂意，容若未料竟躋身虎賁之列，榮耀而寂寞。和容若同齡的皇帝玄燁，一意將他留在自己身旁。也許，他從容若熱烈的眼中看到了自己。也許，他希望容若一解自己帝王的寂寞。但他的寂寞卻以容若的失意為代價。
失意的日子裏，容若忽然驚覺已經很久沒同結義兄弟張純修相聚了。曾經促膝相伴的少年，如今已被多變的世事分開，慢慢走向了不同的人生。然而，沒有人能代替彼此心中的位置，那是青春中最明淨的溫暖——手足情深。
容若正思念張純修，可巧他生日後不久，即接到張純修要他過西山一聚的邀請。
“馬首看山日向西，藍田莊好一招攜。”坐落於京師西郊潭柘戒台附近的西山見陽山莊，是張純修在繁華塵世的清淨地。張純修本是歲貢生，沒有考試的煩惱，隻等朝廷某日開恩見用。他也並不在意何時見用，終日山居獨坐，治印繪畫，過著閑雲野鶴般的隱居生活。
這日，容若驅騎前往西山，他一路行去，但見“羅蔭別館綠溪靜，竹外繁花拂檻低”，“雨過林深雲不散”，“千峰四麵青如許”，又聽聞“殘春穀暖鳥初啼”。行在這天趣自然中，容若壓抑的心情慢慢被釋放了。
這次相聚，容若同張純修在山間肆意放馬狩獵，傾瀉內心的煩悶。他們縱馬馳過山間，兩旁滿是雨後殘花。張純修知容若心事，便勒住胯下駿馬，抬起手中的馬鞭，指著紛紛落紅，勸慰道：“風雨摧殘花蕊，正如高標見妒，不過人生常態，吾弟幸勿介懷。”張純修的安慰令容若感到一如當日的溫暖。
同張純修的相會仿佛使容若回到了天真的少年，他於自由馳騁間勃發胸中豪情，愁緒雖不能盡去，但煩悶卻消解了不少。他拱手答謝，吟道：
塵馬跡紛如織，羨君築處真幽僻。柿葉一林紅。蕭蕭四麵風。
功名應看鏡，明月秋河影。安得此山間，與君高臥閑。
張純修揮手揚鞭，笑道：“正該如此！”兩人在山間偃仰嘯歌，至黃昏方惜別而去。
隨著容若任職日久，同張純修的歡聚變得越來越不可求。盡管內心抗拒，但容若無法拒絕皇恩浩蕩，也無法拒絕父親明珠熱切的目光。他是儒家最虔誠的弟子，忠君、孝親，他沒有選擇。從此，這位史上最才華卓絕的乾清門三等侍衛，終日為扈駕、入值、巡幸等瑣事所苦，其“所欲試之才，百不一展，所欲建之業，百不一副，所欲遂之願，百不一酬”，一日日陷於“蛾眉謠諑”、“冰霜摧折”的疑懼中。
盧氏去了，誌向遠了，夜闌人靜之時，容若在痛苦中無法自拔。他唯一的選擇是向朋友傾訴。他給張純修寫了一封又一封信：
鄙性愛閑，近苦鹿鹿。東華軟紅塵，隻應埋沒慧男子錦心繡腸。仆本疏庸，那能堪此。……值此好風日，明早準擬同諸兄並騎而來，奈又屬入直之期，萬不得脫身。中心向往，不可言喻。
但有空閑，容若便打馬前去西山，他一次次的抑鬱，又一次次在與天地唱和中獲得抒解。如此一來，容若的經世之心已大打折扣，雖“身在高門大廈”，卻已萌生了“山澤魚鳥之思”。這時候，他已經認識了嚴繩孫。這位前朝遺少本來自江海，並隨時準備“小舟從此逝，江海寄餘生”，故而頗能理解容若的囹圄之困，也就時時收到容若流露對現實困境無奈的來信。容若曾對嚴繩孫寫道：“弟深秋始得歸，日值駟苑，每街鼓動後，才得就邸。昔者文酒為歡之事，今隻堪如夢耳。”
他更以一首《送蓀友》透露了離去的渴望：