雁門失守，崞城被毀，原平遭屠，忻口防線被突破，連省城也落入日寇之手了。
撤，撤，撤，
退，退，退！
整個太原城一片混亂，閻錫山不得不率他的機關幹部、黨政人員、部隊軍人，放棄省城太原，向西撤退，而從太原向西撤退的必過通道是汾河。
張培梅的情緒極其低落，打了多半生的仗，還未遇過如此狼狽的境況。太原的汾河上，有一座隻能行走馬車的便橋，被撤退部隊的載重汽車和坦克壓塌不少地方。不少汽車、坦克也陷落河中，橋麵上堆滿了逃亡人丟棄的行李什物。人們認為這是通往晉西的唯一通道，所以撤退的部隊軍人、政府官員、逃亡的城市商人、鄉村百姓，全部湧在了這條通道上，人們的頭上還不時有日本人的飛機轟炸。
閻錫山的軍政要員們全部撤退至隰縣，住在隰縣城西的天主教堂裏。這時的張培梅將軍十分忙亂。時近冬天，張培梅穿著棉衣的胳膊上縫了一條白布裹著的大袖章，上書“執法總監張”，而“張”字的兩邊兩撇十分長，如同兩把大刀。
太原撤退中，兵民不分，道路不通，有些軍人還乘機幹著各種壞事，所以張規定：從前線私逃者，斬！搶劫民物者，斬！奸淫婦女者，斬……沿道電線杆上和各城門上都掛有被砍下的人頭，並書“某部士兵，因幹壞事，立即槍決，梟首示眾，以儆效尤”字樣，末書：“第二戰區軍法總監張。”這對當時維護撤退秩序起了不少作用。
1938年2月，日寇進攻晉南，執法總監張培梅與省府主席趙戴文住在隰縣午城，王靖國的十九軍在川口負責堵擊日軍，結果未戰兩三天，全線撤退。張培梅勃然大怒，聲言非砍掉王的腦袋不可。又電六十一軍陳長捷增援，但陳也望風而逃，張更怒不可遏，遂電閻：隻要砍掉王、陳二軍長的腦袋，太原必能失而複得，否則不堪設想。閻不允。張見閻軍一再敗北，而自己殺一儆百的主張，又不被采納，悲觀失望之餘，即萌生自殺之念。
一天下午，張培梅命副官進城買回鴉片煙一兩，倉促吞下。左右發覺急報趙戴文，趙跪進解藥，張堅不飲，麵跪逾時。以戰局緊迫，午夜抵大寧，複覓進藥，遂飲少許，藥發嘔噎上升，張則欲吐複吞。於2月26日辰時，賚誌以歿，年僅54歲。
次日，閻錫山曾寫了一則記張培梅的日記，文曰：
你很愛國，你很壯烈，你以晉民苦矣，國家危矣，不忍睹，不堪睹，君乃自了，遺其妻子，別其朋友，君乃自了矣！我則不作如是感。我國有二千年大一統之光榮，亦隨有二千年大一統之遺毒，使維新革命均無大效，經此瘋狂自損之日本軍閥一大打擊，必能去舊嶄新，而成現代之國家，我不悲觀。途中告我，君服毒得救矣，至寧（大寧）乃知君已矣，使我慘然。繼思君結果矣，且有果結矣，遂轉我念。君之清廉無積，我所素知。家庭生活，我負其責，君不釋念。
有關張培梅之死，原平南懷化人趙正楷先生在台灣寫的回憶錄中，曾記述原因：
張漢捷先生在西安與我談起在臨汾時他與張總監共住一室，某晚鶴峰剛睡，悶不作聲。他說：“鶴峰，我看你快死了！”鶴峰突坐起問：“你從哪兒看出來？”他說：“你平素好像叫驢（公驢，方言稱為叫驢），飛踢飛咬的；這些天你好像成了騸驢了（叫驢閹割睪丸，稱為騸驢，不再叫，很馴順）。”鶴峰說：“我這把刀用不出去了，自己用了吧。”說罷立又睡下。
這段記述，出自張漢捷的親口敘述，自是真實無疑。讀罷掩卷，靜言長思，張培梅“這把刀”欲用於何方，不言自明。這就是原平老將張培梅的性格。