劉知遠接到朝廷要求班師回朝的詔書後，心裏很不痛快，一時之間進退兩難，陷入了深深的猶豫之中。此時，史弘肇站出來說道：“將領在外帶兵，有時可以不接受君主那些不合時宜的命令。如今我們眼看著就要大功告成，朝廷卻下詔讓我們班師，隻怕日後的災禍，就從今天開始了。用兵打仗關鍵在於速度，我們不如隻管進兵，平定鎮州之亂。等事情結束後再班師回朝，到那時任憑朝廷發落。”
劉知遠覺得史弘肇說得有道理，便傳令繼續進兵。史弘肇手持團牌，率先登上山頭，一口氣砍死了十幾個人。郭威緊跟其後，一躍而上城牆。史弘肇趁機活捉了孫飛虎，郭威則一鐧打死了劉真。曾傑見狀，想要逃跑，卻被晉兵砍成了肉泥。晉軍放火燒了敵軍的營寨，劉知遠下令讓刀斧手斬殺了孫飛虎，並將他的首級示眾。隨後，大軍開拔，直逼鎮州。
安重榮得知這個消息後，嚇得魂飛魄散，趕忙與眾將商議對策。他決定再次派人去結交契丹主，請求契丹出兵相助，同時命令張仲達出城迎戰。張仲達與史弘肇交手沒幾個回合，就被史弘肇一刀砍成了兩段。晉軍順勢將鎮州四門團團圍住，發起了猛烈的攻擊。有人向安重榮報告：“張仲達被殺死了，敵軍已經把城池圍困起來了。”安重榮聽後，半晌說不出話來。這時，董琦進言道：“明日主公親自上陣，末將願意擔任先鋒。”張伸德回到府中，心裏想著與其被晉人羞辱，不如自行了斷，於是徑直走進後園，跳入綠荷池中自盡了。
第二天，安重榮帶領兵將出城迎戰。劉知遠得到消息後，親自出陣，大罵道：“反賊，還不下馬受死！”說著，舉起安漢刀就向安重榮砍去。安重榮的副將周虎急忙舉槍抵擋，卻被劉知遠斬於馬下。安重榮見勢不妙，轉身就跑，劉知遠乘勢直入北陣。郭威在陣中遇到了董琦，一矛將他刺死。安重榮逃回城中，再也不敢出來。劉知遠一連圍困了四十多天。
當時正值六月，天氣炎熱，城中水源斷絕，許多人都想獻出城池。牙將胡衍看到城中如此幹旱，便與眾將商議，寫了一封信綁在箭頭上，射入晉營，與晉軍互通消息，約定裏應外合奪取城池。劉知遠收到信後，立即傳令眾軍做好接應準備。
三更時分，胡衍帶領眾人打開水碾門，點起了火炬，大聲呼喊晉兵入城。史弘肇率先殺入城中，安重榮驚慌失措，躲進了一戶民家。天亮後，劉知遠入城安撫百姓。胡衍前來請罪，劉知遠說：“你有獻城的功勞，之前的過錯就免了。”後來，那戶民家將安重榮交了出來，劉知遠下令將他囚禁起來，押解回京城。
第二天，劉知遠安排將領鎮守鎮州，隨後傳令班師回朝。回到京城後，劉知遠入朝拜見晉主，向他奏明鎮州已經平定。晉主大喜，下旨將安重榮斬首，並將他的首級裝在木匣中，派使者送給契丹主。晉主還封劉知遠為邠州太原府節度使，讓他前往太原鎮守。