李世民也說不出埋怨李彥，給他便宜行事權力，現在也不能責怪。另外李彥這樣做畢竟對大唐有好處。還是杜如晦反應快，說大唐進兵是收複懷遠，消滅隋朝殘餘勢力。
可比利諾啜提出，既然是消滅殘隋，就應該把抓到的突厥人還給他們，唐軍退出賀蘭山以及懷遠地區，把那裏還給突厥。
朝堂上以溫彥博為代表的一些人同意這個提議。李世民不想把到手的地方吐出去，本來唐軍是守不住黃河西岸的，可騎士團在突厥腹地活動，博納金在後麵追，根本無力進攻懷遠。李書同又向懷遠增加兩千兵力，加上當地軍隊，在懷遠地區唐軍已經有八千多人。
李世民傳旨懷遠設立懷州，派關寧啟出任懷州刺史。姬康升為振威將軍，指揮懷州兵馬。
已經基本穩定的懷州，李世民怎麼舍得退出去。何況占領懷州之後，已經越過黃河，隨時可以向突厥進攻，那是前沿陣地。
李彥大肆掠奪，授人以柄，讓突厥抓到理由，特別是得到朝臣支持，李世民一時不好回答。隻好說要研究一下，讓比利諾啜先等著。
散朝後把這些重臣叫到禦書房，就是想研究一下，怎麼答複突厥。可是一張嘴，溫彥博還是這個主張。李世民也有些張不開嘴，雖然知道李彥這樣幹很好，可麵子上過不去。他一個皇上，畢竟不能說搶劫好，可以發財。
蕭瑀對李彥是十分不滿，因為李彥蕭後不滿自己，李彥也根本不拿自己當回事。楊吉兒出事，李彥好像怪罪到自己頭上一樣。
但他聖眷正隆，蕭瑀也不能說什麼。聽到溫彥博的話說道：“皇上，溫侍郎的話很有道理，皇上即位之初就說以誠信治天下，善待天下人。突厥是大唐盟友，這樣有違誠信，如何能讓四夷臣服。削弱朝廷威信，要是吐蕃，回紇高句麗都對大唐心生畏懼，恐怕不是好事。”
陳明德說道：“皇上，臣以為也是一樣，李彥一貫標新立異，不守禮教，沒有規矩。這一次要是突厥大舉進攻，使國家陷入戰亂，必然是刀兵戰火，和皇上的安定天下，與民生息背道而馳。臣認為不是召回他的事情，應該給與處罰。”
房玄齡很是不滿的說：“陳大人，李彥有皇上授權便宜行事，即使做法有些欠妥，但也不應該處罰。他畢竟得到的錢財都歸朝廷所有，何罪之有？”
竇蓮也說道：“永寧公主一心為國，征戰沙場，給朝廷弄來資金，才能安撫災區，應該嘉獎才對。”
諫議大夫魏征說道：“皇上，永寧確實有功，但是殺戮太重，也有損天朝聲譽。我建議還是召他回京，免去他的兵權，安排其他職務為宜。”
李世民也無話可說，畢竟李彥的做法過火了，遭到所有人反對。即使不同意治他罪，但也都同意召回他。其實李世民想滅掉突厥的，所以他才給李彥權力，也讓李靖、李績、程知節和尉遲恭協助他。
李彥的軍隊整編計劃很好，李靖都說符合軍事作戰特點。他把部隊調往定襄，自己帶領騎士團去靈州，李世民以為李彥是惦記楊吉兒。根據百騎尉和暗影報告，李世民沒有阻止，讓李彥見識一下，也會死心。
可沒想到他以五百騎士團竟然收複懷遠，讓楊政道和蕭後投降，這可不錯。感到李彥這樣做雖然過分，可好處太多了，很是不情願的不想召回李彥。趙坤進來：“皇上，林魁報告。”
李世民接過林魁的報告看一遍，放下奏章說道：“傳旨，李彥立即回京。任命李靖為定襄道行軍總管，李績為雲中道行軍總管。李叔良為靈州道行軍總管，李道宗為山南道行軍總管，嚴守邊關。”
眾人不知道林魁報告的是什麼，皇上有些緊張，竟然毫不猶豫下令召回李彥，同時任命四個總管，一副防守的架勢。