流放的漫漫長途中，艱難困苦可想而知。幸而張效誠得到元玉大師的及早提醒，在一個月前已經把家中金銀珠寶等財產秘密轉移至法源寺附近山洞中，由元玉代為保管。元玉又在暗中打點，給了押解的軍官和十幾個兵丁許多銀兩，所以他們不但沒有為難效誠夫妻，反而時時加以照顧，使得這對落難鴛鴦勉強度日。又經過了十幾天的顛沛流離，一行人終於來到了最終的目的地——大涼山。
大涼山雖地處邊陲，卻是絲綢之路的必經之地。山地西側山原，丘陵起伏，東側是深切的金沙江穀地。地勢險峻，最高峰海拔4千米以上，白雪皚皚，直插雲霄。就在地勢較為和緩的丘陵地帶，建有一座座簡易的石砌房屋，這是內地來的流犯們居住之地。他們的日常勞作就是放牧牛羊，修理圈舍，一天忙忙碌碌，不得空閑，且居住的石屋冬冷夏熱，飲食也很差，僅僅溫飽而已。這些都讓昔日錦衣玉食的總兵夫婦和一眾家仆苦不堪言，隻得在勞作之餘，相互撫慰。這樣苦難的日子一天天過去，那個小小嬰兒也漸漸長大。五年後，已成為一個聰明伶俐的兒童，雖身形瘦弱，卻目光炯炯，頗有神氣。每日隨著父親在山林中放牧牛羊，櫛風沐雨；有時難免調皮，追逐小羊到處奔跑，開心地大喊大叫，玩的累了，往往在父親懷中沉沉睡去。林毅的母親在石屋中縫補衣物，修理羊圈，在父子二人歸來時早已做好熱氣騰騰的飯菜，端上桌來。這一晚，一家三口又坐在桌前，開心地吃飯交談。張夫人滿懷慈愛地望著幼子，緩緩說道：“毅兒，從明日起你不要再隨父親出去了，就在屋中呆著，我要教你讀書識字。”語氣和緩卻堅定，效誠也點點頭，對兒子說道：“聽你母親的話，好好讀書，才明白做人做事的道理。”林毅撅起小嘴，很不開心：“那我就天天呆在這石屋中，哪兒也不去了？”父親笑了：“那倒不是，學習半日後，你就可去山林中找我，隨意玩耍遊戲。”自那日起，張夫人就在做功之餘，盡心教導兒子讀書識字。她本是大戶人家的小姐，知書達禮，深明大義，在遭流放前一日，已把家中各種書籍藏在箱籠中，不曾丟棄。這小林毅卻是天賦異稟，子曰詩雲朗朗上口，深得母親喜愛。
這樣平靜的日子又過了幾年，這一日，遠處原野上忽然飛奔來三匹駿馬，跑到石屋近前驟然停住，三個黑衣人翻身而下，站定在當地。居中一人手持黃卷，對著屋內高聲喝道：“原太原總兵，流犯張效誠聽旨——”