僧格林沁將六萬多清兵分晝夜兩班輪番攻打北伐軍，白天進攻者晚上睡覺，夜裏進攻者白天休息，如此戰鬥力較強，北伐軍傷亡很大，短短幾個月內損失數萬人，後來全軍剩下不足一萬人了。敵強我弱，北伐軍不轉移就會遭致全軍覆沒。於是於一八五四年除夕夜開始大規模南退。北伐軍從此離北京城愈來愈遠。
直隸一帶依然冰天雪地，北伐軍一路仍然以赤足行走，從靜海南退到束城紮營，行程不到兩百裏便凍死凍傷約兩千人。寒冷天氣的確是北伐軍又一大敵。
到束城村紮營後，北伐軍後有追兵前無救援，衣食仍然不足軍心一片混亂。
林鳳祥、李開芳、吉文元已無法控製軍隊，除死傷外，許多新兄弟喊著求生存開了小差，廣西老兄弟中還出了叛徒。施紹恒、詹啟綸受林鳳祥杖責之後，一直懷恨在心。離靜海轉移時全軍被寒冷攪得人心惶惶，施、詹二人趁機攪在一起密謀投敵。施紹恒道：“這林老頭也確實凶狠，對你我撤職不說還打了四十大板，此仇不報誓不為人。”
詹啟綸道：“什麼狗屁上帝，害得我們吃盡苦頭。我們在此忍饑受寒、冒死作戰而諸王們卻在天京城內吃香喝辣、宜享天福，口裏喊平等實際不公平，我們去投靠朝廷倒還有出路呢。”
施、詹二人拿定主意，趁行軍混亂之機偷偷離開了北伐軍去投靠清軍了。
北伐軍紮營束城村，與強敵相持一月，衣食愈感困難，人員不斷減少而多次派人到天京報信，至今仍然不見北伐援軍，隻好繼續南退。
北伐軍餘部二占獻縣，三丞相心中不免淒涼，上次過獻縣是為了戰略進攻是以勝利者姿態出現，而現在經獻縣卻是損兵折將敗退到此啊！戰敗之軍再也不受歡迎，北伐軍沒有得到任何人員物資補充，便淒淒然離開獻縣，南下阜城縣而去。
僧格林沁、勝保率兵緊追而來，北伐軍占據要地阻擊敵人。林鳳祥部守堆村、李開芳部守連村、吉文元部守杜家村，盡一切努力抵擋清軍的瘋狂追殺。
僧格林沁重用叛徒，聽從施紹恒、詹啟綸之計，挖長壕隔斷三村之間的聯係，然後集中攻打杜家村。吉文元率部奮戰騎馬左右衝突，可是清兵洋槍總是跟著他打。一顆流彈擊中了吉文元頭部，這位北伐軍驍勇戰將壯烈捐軀在阜城縣杜家村戰場上。
清兵攻勢日甚一日，林鳳祥、李開芳為保存數千精銳戰士，率軍東渡運河，占據東光縣連鎮，借運河之險阻擋追兵。
占據連鎮二十多天後，從老百姓口中才知道北伐援軍曾經到達過山東。天兵頓時振奮，感到有了希望。李開芳即率馬隊一千數百人突圍南下迎接援軍。連鎮內仍然留有林鳳祥部數千人堅守陣地，抗擊敵人，等待援軍再行北伐。
林鳳祥部在極端困苦之下，仍然不忘搗毀妖穴的使命，堅守北伐的最後一塊陣地，誓死不後退。數月後清軍炸堤放水，淹沒了東連鎮糧倉。北伐軍戰士忍饑挨餓，打仗有時連刀也舉不起來，但仍然不屈服。
一八五五年二月十九日，北伐軍實在經不住敵人猛烈進攻，遂放棄西連鎮，隻守東連鎮，全軍此時隻剩兩千人。
半個月後，僧格林沁指揮大炮隔河連日猛轟，東連鎮工事被毀，清兵大隊衝入。北伐軍將士紛紛投河殉難。林鳳祥右手被炮火炸斷，幾名隨從救他進地道暗室。林鳳祥左手拿出砒霜正要服毒自盡，施紹恒帶清兵找進洞來。他一把打落林鳳祥手中的砒霜，陰笑道：“林丞相何必服毒呢！朝廷會好好送你上西天去見上帝，現在我得感謝你曾經賞給我四十大板。”
林鳳祥大叫一聲：“你這無恥叛徒！”獨臂舉刀就要拚命，無奈清兵一擁而上死死抓住他，可憐一代名將就這樣被生擒活捉了。
正是：攻城略地打頭陣，深入虎穴終被擒。