安頓下來後，許悠然立即讓人去調查謝君遠過去的經曆，很快便查到了消息。
謝君遠當年憑借外表，被福寧縣一家商戶的女兒看上，拋妻棄子入贅到商戶家中，他也因此重新過上了衣來張手飯來張口的生活。
後來，那家商戶搭上了瑞安府的福東商行，生意更上一層樓，全家搬到了瑞安府，謝君遠也跟著來了。
再後來，福東商行的東家因為指使手下綁架許悠然失敗，被洛逍抓走，送進了采石場，福東商行群龍無首，又有錦和商行虎視眈眈，很快就撐不下去。
樹倒獼猴散，謝君遠妻家的生意因此受到了重創，他們打算回到福寧縣去，卻發現福寧縣也沒有他們的位置了。
隻能一直留在瑞安府，隻是生意一落千丈，到後來，竟是撐不下去了。
原本一家人就過得緊巴巴，家中女眷都要做刺繡拿出去賣錢，謝君遠這個遊手好閑的人自然變成了眼中釘。
他力氣不大，做不了重活，唯一的優點便是識文斷字，妻子讓他去抄書賺錢，他抄是抄了，可一個月抄不了一本，賺不了幾個錢，更何況，作為流犯，他還需要每個月花錢去贖徭役。
入不敷出，妻子對謝君遠也有了怨氣，終於在一次大吵之後，妻子將謝君遠休了。
直到這時，謝君遠才知道害怕，以後他無家可歸，還沒有人幫他花錢贖徭役了，他是死也不願意去做徭役的，於是東躲西藏，也城裏乞丐混做一團，逃避官府的抓捕。
直到太子翻案，他重新變成良民，這才好了些，不需要東躲西藏，他便開始考慮後路。
這些年，他是聽說過小譚村的，他知道被他拋棄的兒子侄女還在小譚村生活，獲赦後，他們一定會回京城去。
於是他日日夜夜在城門口等著，終於等到了小譚村的人，謝雲棠一下馬車，他就將她認出來了。
許悠然聽說後氣憤不已，謝君遠這個人，還是這麼自私。
但凡他心裏對謝雲舟和謝雲棠有一絲愧疚，又或者對謝閣老有一絲想念，許悠然都高看他一眼。
真是恨不得將他扔在這裏，不過謝雲棠說得對，謝君遠，要交給謝閣老處置。
第二日繼續出發，許悠然以沒有位置為由，將謝君遠塞到了載貨的車裏。
謝君遠咬牙切齒，心裏恨得牙癢癢，卻也知道自己如今人在屋簷下不得不低頭，隻想著等到了京城，他恢複閣老之子的身份，一定要給許悠然好看。
如今已經是深秋，雲州的天氣還很暖和，但是一路北上，大夥兒越來越覺得天氣冷，出了雲州以後，漸漸地開始下雪了。
許悠然早就提醒過眾人，大家帶足了厚衣裳，冷了便穿上，這便苦了謝君遠，他自然知道越往北越冷，但他身上就這一身衣裳，還是許家下人施舍給他的，厚衣裳他是一件都沒有。
這一日中午，車隊停下來生火做飯，幾個孩子在不遠處玩雪。
謝雲舟沒見過雪，許穆然和許安然雖然在京城出生，但長大後對小時候的事情已經記不清了，到了雲州以後他們也沒玩過雪，這會兒三人高高興興在打雪仗。