李淵不再理會李世民和李建成他們，看看眾人說：“不要再爭了，我意已決。今日傍晚，大軍便拔寨回師。西取長安，也不在這一朝一夕，以後可慢慢圖之。”
晚飯之後，雨勢略減，但還在淅淅瀝瀝地下個不停。李建成的左軍已陸續拔營，踏著泥濘，垂頭喪氣地向北迤邐而返。
李世民心急如焚，他認定此一去將再無西征之日，數月之中嘔心瀝血促成的舉義大事，就這樣功敗垂成，毀於一旦。他不甘心，要繼續拚死力爭。因此，李世民下令他所率領的右三軍，繼續穩守營寨，沒有他的命令，一兵一卒不得北歸。
當天夜裏，李世民又來到了父親李淵的營帳。李淵裝睡不肯見他。李世民在帳外雨中徘徊，他想到這次撤軍而去，不僅僅是舉義大事將化為泡影，弄不好還會全軍覆沒，不禁亂箭攢心，失聲痛哭起來。
李淵蒙矓中突然聽到哭泣之聲，故意問左右：“是誰在帳外啼哭？”
“回唐公，二公子。”一個侍衛答道。
李淵大驚，霍地翻身坐了起來，讓人把李世民召進帳來。
“男兒有淚不輕彈。汝身為大將，堂堂七尺須眉，因何事深更半夜在帳外哭泣？”
“孩兒一時情急，不能自抑，驚擾了父帥，還請恕罪。不過，我等為伸張大義發兵，義旗一舉，萬民翹盼，天下傾動。當此之時，隻有勇往直前，攻戰不停，才能有望成功。一旦退縮，則將士喪誌，百姓寒心，四方打算前來歸順的義軍也會望而卻步，心灰意冷。到那時，我軍兵士潰散於前，而敵軍乘勢追擊於後，上天無路，入地無門，隻能是死路一條。孩兒一念及此，怎麼能夠不悲傷？”
聽到這裏，李淵似乎有所醒悟，不禁為之動容，說：“大軍已向北出發，如何是好？”
李世民馬上接口道：“孩兒所率右軍未發。左軍雖已開拔，想必所去不會太遠，孩兒願意快馬追之。”
李淵看看兒子，歎口氣說：“我之成敗，皆在於你。好吧，不必再說了，由你自行決斷吧。”
李世民大喜過望，急忙辭別父親，帶上幾個親兵，快馬加鞭，向北疾馳而去。
八月初一這天，一連下了二十多天的大雨終於停了。雨過天晴，將士們的心情也像這天氣一樣，陰霾頓消，清新愉悅。
李淵下令，讓將士們晾曬鎧甲行裝，準備繼續西進。正在此時，有人來報，劉文靜從突厥出使歸來，而且帶來了一隊突厥人馬。
李淵大喜，急忙將劉文靜接入帳中，詳細詢問他出使突厥的經過。劉文靜此次出使，開始並不順利。後來他利用突厥始畢可汗貪利嗜財的弱點，假意給出了一個肥美的釣餌，說：“唐公許諾，等到與可汗兵馬同入長安之後，百姓土地歸唐公，而財帛金寶歸突厥。”
始畢果然滿心歡喜，當即設宴款待劉文靜。不僅答應不趁火打劫，而且還派大將康鞘利率領騎兵兩千跟隨劉文靜同來參戰，另外資助戰馬一千匹。
聽劉文靜說完，李淵大喜。立即接見康鞘利，好言撫慰，並派往右軍，由李世民統一指揮。軍中所傳突厥人聯合劉武周進攻太原的謠言不攻自破。
八月初三淩晨，乘著漫天大霧，李淵率領大隊人馬，從東南山小路進軍，神速地出現在霍邑城下，在城東五六裏處安營紮寨。
霍邑臨山傍水，易守難攻。宋老生采取堅守不出的戰略，唐軍又缺乏攻城戰具，若是久攻不下，長期拖延在這裏，不能迅速西進，對唐軍將極為不利。
李淵對此深為憂慮。李世民獻計道：“宋老生勇而無謀，以輕騎挑釁他們，他自會出戰。隻要將這條老蛇引出洞來，再截斷其後路，則殺之不難。”
李淵說：“你說得不錯，前些日子我們被大雨困在雀鼠穀，他不知乘勢出兵偷襲，坐失良機，可見也並非什麼大將之才。不過，他畢竟帶兵多年，有些戰守經驗，隻憑激將之法，他未必上當。”
李世民道：“此事我已思慮再三，我們可先放出謠言，就說宋老生與我軍早有勾結，因此不肯出兵截擊，眼看著放我們挺進關中。他當然知道楊廣性好疑忌，害怕下屬參奏他通敵，朝廷治他叛亂之罪。到那時，看他還能坐得住？”