張穆在他的學術成就日臻完美之時，家庭卻屢遭變故。道光二十七（1847）年十月，張穆的長兄開暹去世，翌年，他的二兄、三兄病故。兄弟四人已去其三，隻有張穆還在人間。
但更大的災難早已等待著他，就在這一年的二月，張穆一家，遭到了滅門之災。
據何紹基的《種竹日記》記載：“道光二十八年二月二十六日。石舟著人來，俱往觀之，其夫人以兩日病遽逝也。一女病疹，乃郎亦病在床。”
從那“一女病疹”的“疹”字來難測，他的女兒患的是“麻疹”即天花。這是一種死亡率極高的傳染病，當時又沒有任何預防和治療手段，一旦染病，十死八九。
據說此時的道光皇帝嚇得趕快躲到熱河的行宮。周圍侍奉的宮人和晉見的大臣，必須是出過疹的人，因為他們已經具有了免疫能力。
但普通百姓，隻好在家裏等死。張穆在《祭三兄》的祭文中說：“穆九日之間妻亡，子女也相繼亡，俾十年構營之巢，一旦迅掃而空之。”不足十天，妻、子、女三人相繼死亡！
前文說過，人生的三大不幸：少年喪父，中年喪妻，張穆已曆其二。豈料，剛過不惑之年，晚年喪子的噩運又不邀自來，而且是一子一女雙雙夭折。悠悠蒼天，此何人哉！
命運之神又一次扼住了張穆的喉嚨！
但這個百折不撓的鋼鐵漢子卻又一次掙脫了命運的絞殺，帶著累累傷痕，又向著他既定的目標前進了。
道光二十九年（1849），是張穆人生旅程的最後一年。這一年，他剛滿45歲。
也許是因為命運多舛，人生坎坷；也許是因為門衰祚薄，親眷凋零。石舟先生竟然萌生了歸耕田園的思想。希望自己也能夠像陶淵明那樣，“晨興理荒穢，戴月荷鋤歸”而終老田畝。
這一年的春天，他仿繪《煙雨歸耕圖》，自撰《百字令》，喟歎“客遊倦也”！詞中寫道：“靖陽亭古，耕讀吾家事。綠蓑青笠，淵明應說今是。”並作七律四首，名為《複題煙雨歸耕圖》。其中有句雲“記得當年耕且讀，圍窪深處荷鋤歸。”並自注：圍窪，陽泉北嶺名。
如果這個願望不能實現，他就打算在北京雷光橋置買地皮一段，先葬亡妻然後築舍隱居。
但打算總歸是打算，而張穆也並非陶淵明。
試想，一個畢生把顧炎武當作師法的榜樣，以“天下興亡，匹夫有責”為己任的靖陽亭長，能夠像靖節先生那樣安心於“采菊東籬下，悠然見南山”的隱士生活嗎？
這位渾身創傷而奮鬥不息的鬥士，在他的“棲雲亭”作心靈上的小憩之後，又匆匆上路了。
《上大夫星階公書》、《落帆樓文稿序》、《癸巳存稿序》、《跋明李思訓碑》、《唐拓武梁祠畫像歌》、《有感於太常仙蝶》……一篇篇文采飛揚的詩文，從他的筆下寫出。
但這隻是張穆的業餘活動。他的主要任務還是一頭鑽進齋之中去完成他的未竟大業，繼續撰寫《蒙古遊牧記》。
上文提到過，張穆在道光二十六年（1846）完成了他的《蒙古遊牧記》的寫作。那時寫成的是該書的前十二卷。經過再三審核，業已定稿。後來又寫成四卷初稿，經過反複斟酌，覺得它隻是一個比較詳細的提綱，其中古跡和山川仍需詳細考訂。於是，夜以繼日，在“縱橫萬裏小齋”中繼續他對廣袤的西北疆域的考證。
常來齋關心《遊牧記》撰寫的還有他的摯友何秋濤。兩人討論的重點仍然是該書的十三至十六卷的山川古跡部分。
1849年陰曆十一月初九，在沒有任何先兆的情況下，張穆突然病逝。
據人們後來回憶，張穆是在他的齋書桌前的椅子上去世的。當人們進去發現他的時候，他已經靜靜地睡著了，但已經是永遠地睡著了。不過，手中仍然握著那枝朝夕不離的毛筆，眼前仍然放著他未校訂完畢的書稿……
他的曠世之作《蒙古遊牧記》，在他死後不久，由他的友人何秋濤整理刊行。
何秋濤在為張穆撰寫的《墓誌銘》中寫道：“先生既歿，秋濤偕何編修次其稿曰《齋文集》《靖陽亭雜記》各若幹卷。編修為繕治成帙。”