話說挹香那夕在著梅花館安睡，心中想道："我欲勘破紅塵，不能明告他們知道，隻得一個人私自瞞著了他們，踱了出去的了。"主意已定，次日便寫了三封信，寄與拜林、夢仙、仲英，無非與他們留書誌別的事情。又囑拜林早日替吟梅等完其姻事。過了數日，挹香帶了十幾兩銀子，自己去置辦了道袍道服、草帽涼鞋寄在人家，重歸家裏。又到梅花館來，恰巧五美俱在，挹香見他們不識不知，仍舊笑嘻嘻在著那裏，覺心中還有些對他們不起的念頭。想了一回，歎道："既破情關，有何戀戀？"便攜了愛卿的手道："如此天寒，何不多穿些衣服，你們自己都要保重，究竟我不能常替你們當心的。"說罷至房中，假意失手，把愛卿的菱花鏡兒打得粉碎，佯裝著急道："愛姐，你的鏡兒被我打碎了，我替你去買一麵罷。"說著，大踏步而出。愛卿知是不祥，十分不樂。挹香出了梅花館，一徑向外邊而去。到了寄衣的人家，取了衣服，走至一個荒僻的所在，便卸去冠兒，換上草帽，脫去袍兒，易了一件百衲的道袍，撤去襪履，赤了一雙白足，登著雲遊的棕履。將那一套衣服置於荒僻，日後自有人來取去。不表。
再說挹香更換了道服，迤邐前行，思向武林進發。其時已是十二月的天氣，飄風發發，寒氣侵人。挹香易去貂襲，身穿布衲，又加赤了一雙腳，十分寒冷。因他看破世情，苦心求道，所以忍其寒冷，漠不關心。他也不乘船隻，一路上抄化些茶飯，或遇無村無店，他便於山坳枯廟中也會棲宿。隻要苦修得道，這個身子全然不去愛惜，正是：本來錦繡膏粱客，竟作雲遊方外人。
挹香在路已行了一月有餘。暮宿晨征，要向杭州進發，按下慢表。
再說家中，自從那日挹香出去了不見歸來，愛卿等猶道他在麗仙、雪琴這幾處，卻不在意。及至五六天不歸，五人鹹相驚訝，便命侍兒往麗仙、雪琴等幾處探聽，俱言從未到此。愛卿等方大悟道："前日他叫我們自己保重，乃與我們分別之意。況且打破菱花，隱示難圓之兆。"琴音等聽了，一齊大哭起來道："愛姐之言，一些不錯。為何他竟如此固執？如今不知往何處去了？"愛卿也大哭起來。早驚動了書房中三位公子，與著小蘭進來動問，方知父親避世之事。四人大哭起來，弄得愛卿等五人更加悲切。頃刻間，一堂慟哭，四座酸辛。吟梅哭了一回道："父親此去不遠，待孩兒去尋了歸來可好？"愛卿道："孩兒，你又來了。你父親有誌修行，棄凡絕世，你那裏去尋？況且你年紀又小，如何出外尋親？我想還是喚總管金忠去找尋。"吟梅遵了母親之命，立刻喚總管金忠，告知其事。金忠哭道："少老爺呀少老爺，你何苦曆盡艱辛而不顧耶？"愛卿道："總管，你快帶了眾家丁去找尋罷！"金忠領命，同了金龍、金虎、金福、金壽、金通、金寶、金喜、金慶八個家人，分頭追趕。誰知尋了半月之餘，竟無蹤跡，隻得回來覆命。苦得五美人幾不欲生。
吟梅見此情形，無奈強笑假歡，婉言勸慰，乃道："父親既去，固是兒輩不孝，然亦無可如何。還望五位母親，不要悲切，日後或者重逢，亦未可曉。況我與弟妹三人，年紀俱小，要求母親撫養我們長大，一則踐父親昔日之言，二則孩兒們尚可得受訓誨。"愛卿聽了吟梅的話兒，倒也十分有理，便點點頭道："孩兒之言不錯。"從此暗地裏自悲自切。每遇月夕花晨，時與四個姐妹思念挹香，盡心撫養吟梅等，以報他臨行之囑。過了一年，吟梅已十三歲了。是年又有春闈，愛卿便命吟梅進京去會試，吩咐總管金忠，同著琴童、劍兒二個書童，送吟梅進京應試。吾且住表。
再說挹香出外雲遊，已經三載。他自蘇至杭，一路抄化，所曆名山大川，俱供瞻仰，身子無拘無束，倒覺逍遙自在。所恨訪遍深山，竟未遇一個高隱之人。一日遊至天台山，瞻觀勝跡，果然別具清幽，較別處迥然異樣。暗想道："如此名山，必有異人在內。"於是躡岩，穿重泉，行崎嶇，盤過了無數險峻之處。隻見中有一山，別饒幽趣，琪花瑤草，古柏蒼鬆。怪石崆峒，老猿叫月；怒峰突兀，野鶴唳雲。挹香見如此幽閑之所，不覺更加洗滌塵心，十分快活。於是又行五六裏，遠遠望見有兩個老者，在那裏弈棋為樂。挹香明知必非凡品，疾忙追趕上前，欲思相見。誰知那老者見挹香到來，便抽身起去。挹香見了，急急而奔，棕鞋落去，也不去尋，依舊追趕。不料山路崎嶇，山泉湧急，赤了一雙腳，行得更加慢了，便大叫道："大仙慢走，容我金挹香一見！"正說間，覺得一陣清風，二仙不見。挹香驚訝不定，複前行。未數武，隻見山穀中腥風忽起，驀地裏跳出一隻斑斕猛虎，張開了血盆大口，望著挹香直撲過來。挹香俯首而歎道："未遇仙人，先歸虎口。罷罷罷，虎嚇虎，你來吃了我去罷。"說著便迎上前來。卻也奇怪，那虎見挹香到來，一個斛鬥，又向別處去了。
挹香見虎去了，二仙不知所之，方才緩緩而行，欲思再尋仙跡。
行未裏許，忽逢一澗，對麵又是一山，比方才的愈加聳秀。挹香欲思過去，兩邊一望，卻無橋路可通。挹香見了大駭，幸得其時已是二月下旬，天氣溫暖，便寬去道袍，慢慢的走入澗中，用足探其深淺。卻喜那澗隻得二尺餘深，挹香便撩衣步入水中。可憐他是個王孫公子，並不知水性，行了兩步，兩足漸入泥濘，順著水一湧，竟立腳不牢，隻得複回澗邊。心中想道："為什麼兩足到了澗中，竟是這般不由自主？"又想道："方才不入虎口，就是此時葬於魚腹，也不過同一死耳，何必懼哉？"想罷，便將身跳入澗中。誰知這澗中間卻有三尺餘深，挹香立在澗中，隻露著兩隻肩臂，順著水兒飄流無定。