此時北上的裴文安走的也不安穩。
裴文安受命北撤之後，心中不甘，企圖誘黃明遠追擊，但是大軍在蒲阪東北埋伏了一整，也沒有看到隋軍的動靜。裴文安知道黃明遠已經識破了他的計策，不會上當的。裴文安隻得壓住心中的不甘，選擇北撤。
實際上茹茹保等人不停地催促，裴文安已經半失去了軍權。楊諒擔心裴文安心中不忿，因此命茹茹保等人負責監視裴文安。而茹茹保等人都是軍中老將，其威望自然不是裴文安等人可比的。
茹茹保直言裴文安再不撤兵，他就要單獨行動。裴文安也擔心進一步失寵於楊諒，因此雖然此時已經是下午酉時，裴文安也隻得選擇啟程。
其部一路往北趕了兩個多時辰，沒有到達虞鄉（今山西省永濟市虞鄉鎮西北）縣城。眼看色已晚，裴文安隻得下令在城外十裏處紮營。
到了夜裏三更過半時分，四下寂靜無人，一路快馬追擊的孤獨覽終於追上了裴文安。
這裏是河東腹地，裴文安根本沒有想到會有敵軍出現，因此獨孤覽大軍殺出，其部立刻一陣慌亂。
隋軍這群騎兵，跟著黃明遠在草原上多次突擊、奔襲，都是夜戰、野戰的精銳。眼看漢王叛軍出現混亂，更是痛打落水狗。
獨孤覽乃命麾下大殺四方，又點起數處火堆。烈火衝，燃燒四野。
獨孤覽率領八千騎兵，在漢王叛軍大營之中來回衝殺數個回合，皆無所阻擋。整個漢王叛軍營中，已經是哀嚎不斷，混亂不堪，一片火海。
裴文安驚慌失措，其麾下大亂，兵將不識，根本無法指揮軍隊應戰。幸好其部下茹茹保乃是宿將，眼看軍中混亂，忙帶領麾下親衛組織人馬抵抗。茹茹保率部衝殺到中軍，乃在中軍立起大旗，諸軍敢有衝擊大旗者，被其紛紛斬殺。漢王叛軍因此大懼，不自覺地按照茹茹保的命令開始整頓。
獨孤覽生性謹慎，眼看叛軍開始有組織性地反擊，知道今日難以一戰勝之，便下令全軍撤退。
獨孤覽所部如潮水一般迅速退卻，隻留下哀鴻遍野的漢王叛軍大營。今夜一戰，裴文安所部損失慘重，大軍輜重糧草皆是損失殆盡。受到重創的裴文安不敢久留，連夜整點兵馬，向十裏外的虞鄉縣城而去。
並未遠去的獨孤覽見裴文安拔營，更是欣喜，乃命部下尾隨擊之，一路不斷騷擾對方。裴文安所部一路九死一生，連虞鄉縣城也沒能進入，眾人不停地北逃，等到明之後，才趕到猗氏（治所於今山西省臨猗縣南），逃得一難。
獨孤覽不敢孤軍深入，便從猗氏回返。
裴文安所部後來一路到了絳州，楊諒的旨意到達，命其將軍隊交給茹茹保，而裴文安則被任命為晉州刺史。
裴文安喪師辱國，也沒有之前的意氣，隻得怏怏地前往晉州。
而黃明遠這裏，蒲阪城西北方向火起，立刻就驚動了城中的王聃、紇單貴等人。這時隋軍之中偽作漢王叛軍潰兵的信使拚命來到城中報信。