晚宴後，在張舉圍城之前，十幾名李農親兵帶著李農親筆書信前往各地，聯係以前的部下和古舊，號號漢族武裝聯合起來，共同應對當前亂局。
陳翰為擴大乞活軍的影響力，推舉李農為乞活軍總盟主。李農則稱翰為乞活軍少帥。
子時，張舉帶十萬大軍連夜包圍了上白城。如李農所料，張舉上白城城坊堅固為由，按兵不動。白袍軍也根據陳翰的命令堅守不出，對峙雙方一時相安無事。
話說彭城王石遵帶著石虎調撥給他鎮守關右的三萬禁軍精銳行軍到河內郡時，得到父親石虎的死訊，於是屯兵河內郡李城（今河南溫縣），等待進一步的消息。
姚弋仲、苻洪以及征虜將軍冉閔、武衛將軍王鸞等人在勝利剿滅梁犢後，起兵回鄴城，和石遵在李城相遇。
眾將都看不起張豺的為人，而對善於禮樂教化的石遵頗有好感，於是一起勸石遵說：“殿下年長而且德才兼備，先帝也曾有意讓殿下當繼承人。正是因為他晚年昏然迷惑，才被張豺所欺誤。如今女主當朝，奸臣獨攬朝政，上白城那裏太尉張舉的十萬大軍與李農的乞活軍相持不下，鄴城的守衛力量空虛，殿下如果聲討張豺的罪行，進軍鄴城對他進行討伐，鄴城的大臣和將領都會打開城門，調轉武器迎接殿下的！”
石遵聽從了他們的勸說，於是自李城發兵，直奔鄴城。
石遵的討伐檄文到鄴城後，張豺十分害怕，急忙命令張舉率領包圍上白的十萬禁軍返回。但是太尉張舉卻不肯聽從他的命令，還以違抗軍令為由殺了張豺的親信撫軍將軍張寧，並與上白城內的李農暗通，隨時準備回軍迎接石遵。
永和五年（349年）五月，彭城王石遵集結九萬精兵，以石閔為前鋒，朝鄴城進軍。由於石遵膝下無子，他鼓勵前鋒石閔道：“努力吧，奪得大位後，我便封你為太子。”
張豺積極籌劃派大軍攔截石遵，但鄴城德高望重的大臣和羯族士兵都不服張豺，他們紛紛出城迎接石遵，不願意為張豺守城。
張豺雖然以嚴刑峻法來製止，並且緊閉城門，這樣也不能阻止士兵投奔石遵。就連他認為的親信，自己親封的鎮軍大將軍張離，也率領龍騰衛士二千人，衝破關卡，出城準備迎接石遵。
劉太後十分恐懼，召張豺來到宮中，悲痛地對他邊哭邊道：“先帝的棺材還沒有入土，而禍亂就到了這種地步！如今太子年幼，隻能依靠將軍您了。將軍您打算怎麼辦呢？我想給石遵加封顯赫的官位，這樣能安撫住他嗎？”
張豺這時也十分驚慌害怕，不知道該怎樣回答，隻是滿口稱是。於是劉氏便發下詔令，任命石遵為丞相，兼領大司馬、大都督、督中外諸軍、錄尚書事，並給予他以持黃鉞、加九錫等特殊權力和禮遇，又增加十個郡作為他的食邑。
經過三日的行軍，石遵率軍抵達鄴城外的安陽亭，張豺十分害怕，出來迎接，石遵命令將他拘捕。
翌日，石遵身穿鎧甲，炫耀武力，從鳳陽門進入鄴城，登上太武前殿，捶胸頓足，宣泄悲哀，然後退至東閣。在平樂的集市上殺了張豺，還滅了他的三族。張雄的將軍府也慘遭屠戮，雪妃慕容霜的心血白費了。
石遵假稱劉氏的命令說：“太子年幼，之所以立他為太子，那是先帝個人的情義所致。然而國家大業至關重要，不是他所能承擔的。應當以石遵為繼位人。”
石遵再三假托辭讓，群臣誠心相勸，於是石遵在太武前殿即皇帝位，大赦死刑以下的囚犯。並命令太尉張舉解除了對上白的包圍。
於是張舉命令禁軍返回鄴城，接觸了對上白城的包圍。李農的軍隊和白袍軍在被圍困二十天以後，重新擁抱了自由。