形勢愈發嚴峻起來，楊玄感此際西邊要抗拒衛文升部，東麵要阻擊屈突通精銳大軍，而洛陽城中隋軍知曉屈突通部渡過黃河後皆大為振奮，不時出城襲擾。楊玄感終於抵擋不住，兩天下來大軍已是連遭數敗，死傷數萬人，軍卒人心惶惶。
楊玄感這時候方才深刻明了李密的目光是多麼遠大，迫於形勢，他不得不低下高傲的頭顱，請來李密、張昱、李子雄、韋福嗣等諸將商議對策。
老將李子雄道：“眼下隋軍援軍越聚越多，而我方卻屢屢失利，軍心渙散，此地決計不能再留，不如引軍直入關中，奪取永豐倉，開倉賑濟災民收取民心，屆時三輔均可指麾而定。一旦據有府庫，返轉頭來，東麵而爭天下，亦可成霸王之業也。”
楊玄感聞言目光轉向李密，口中道：“先生意下如何？”
李密看著楊玄感憔悴不堪的麵容，昔日的意氣奮發已然蕩然無存，心中不禁一陣憐憫，微微頷首道：“李將軍所言極是，此際形勢愈發對我方不利，走為上策。現今弘化留守元宏嗣正屯兵在隴右，其人曾是越王門生，主公可派人四下宣揚其已決意歸順，並已派使者前來迎接主公，我部乃是為此進入關中，以此為借口，一則穩住目前軍心，二則對關中百姓亦有所交代。”
張昱聞聽不禁撫掌叫絕，深深為李密的智慧折服，而韋福嗣卻是默然不語，眼光遊離不定。
楊玄感見李密等皆主張西取關中，於是下定決心撤軍，率軍西進直取潼關。吸取前日教訓，為防止洛陽城中隋軍趁勢掩殺，當下眾人商議決定於當夜三更悄然撤軍。
當夜，冷月高懸，張昱在李密帳中，兩個人持酒對酌。揩去嘴角酒漬，李密幽幽一歎道：“如不是這幾日連番慘敗，恐主公還不會痛下決心西進，他對洛陽太過看重，逐鹿天下怎可計較一城一地之得失啊，好在此番西進為時未晚。”
張昱頷首不語，隻顧大口痛飲。
門簾一挑，焦昆匆匆走了進來，附耳低聲與張昱說了幾句。
張昱聞言霍然站起，口中冷哼道：“此賊終於按耐不住了。”李密聞言愕然，言道：“賢弟何事動容？”
張昱低聲道：“適才我的屬下暗中窺見韋福嗣獨自一人牽馬悄然出營。”李密大吃一驚，見張昱已是大步走出帳外。
早有焦昆心領神會，把張昱戰馬牽到，李密此際也緊隨其後出了營帳。張昱低聲道：“兄長，此事不宜聲張，否則軍心勢必動搖，你我二人悄然尾隨追截即可。”
李密點了點頭，當下兩人悄悄牽馬出了大營。張昱下馬俯身將耳朵貼在地上凝神靜聽，然後一躍而起道：“兄長，此賊向東去了，定是東投屈突通了。”
李密暗暗稱奇，言道：“兄弟，你如何知曉？”張昱一邊策馬飛奔，一邊笑道：“此乃伏地聽聲之術，乃是小弟以前在塞外做馬賊時學的本領，實屬雕蟲小技，此番倒讓兄長見笑了。”
韋福嗣一邊鞭打胯下坐騎，一邊暗自竊喜，天可憐見，此番終於得以脫離魔窟，重見天日。想自己堂堂大隋內史舍人，世代忠良，豈肯舍身伺賊，若如此日後何顏去見九泉之下的列祖列宗？可笑楊玄感沐猴而冠，一個誌大才疏的浪蕩子弟也敢窺伺九五之尊，實在是可笑可悲。此際聞聽自己悄然逃遁，這廝不知會氣成什麼樣子，想到楊玄感氣急敗壞，咬牙切齒的摸樣，韋福嗣差點忍不住笑出聲來。