有人勸高祖說：“突厥之所以屢次侵犯關中地區，是由於我們的人口與財富都集中在長安的緣故。如果燒毀長安，不在這裏定都，那麼胡人的侵犯便會自然平息下來了。”高祖認為有道理，便派遣中書侍郎宇文士及越過終南山，來到樊州、鄧州一帶，巡視可以居留的地方，準備遷都到那裏去。太子李建成、齊王李元吉和裴寂都讚成這一策略，蕭瑀等人雖然知道不應當如此，卻不敢諫阻。秦王世民挺身而出，勸諫道：“北方少數民族為禍中原的情況自古就有。陛下憑著聖明英武，創建新王朝，安定中夏，擁有百萬精兵，所向無敵，怎麼能因有胡人攪擾邊境，便連忙遷都來躲避他們，使舉國臣民感到羞辱，讓後世來譏笑呢?那霍去病不過是漢朝的一員將領，尚且決心消滅匈奴，何況兒臣還愧居藩王之位呢！希望陛下給我幾年時間，請讓我把繩索套在頡利的脖子上，將他逮到宮闕之下。如果到時候不成功，再遷都也為時不晚。”高祖說：“說得好。”李建成卻說：“當年樊噲打算率領十萬兵馬在匈奴人中間縱橫馳騁結果失敗了，秦王的話該不會是和樊噲的相似吧！”李世民說：“麵對的情況各有區別，用兵的方法也不相同。樊噲那小子有什麼值得稱道的呢！不超過十年，我肯定能夠將漠北地區平定下來，並不是憑空妄言啊！”於是，高祖不再遷都。李建成與嬪妃因而共同誣陷李世民說：“雖然突厥屢次在邊疆上為禍，但隻要他們得到財物就會撤退。秦王假托抵禦突厥的名義，實際上是打算總攬兵權，成就他篡奪帝位的陰謀罷了！”
高祖在京城南麵設場圍獵，太子李建成、秦王李世民和齊王李元吉都隨同前往，高祖命令三個兒子騎馬射獵，角逐勝負。李建成有一匹胡馬，膘肥體壯，但是喜歡尥蹶子，李建成將這匹胡馬交給李世民說：“這匹馬跑得很快，能夠越過幾丈寬的澗水。二弟善於騎馬，騎上它試一試吧。”李世民騎著這匹胡馬追逐野鹿，胡馬忽然尥起後蹶，李世民躍身而起，跳到數步以外站穩，胡馬站起來以後，李世民再次騎到馬身上，這樣的情況連續發生了三次。李世民回過頭來對宇文士及說：“他打算借助這匹胡馬害我，但人的生死自有命運決定，就憑他們能夠傷害到我嗎?”建成聽到此言，乘機教唆與他偷情的嬪妃在高祖耳邊誣陷李世民：“秦王自稱：上天授命於我，正要讓我去做天下的主宰，怎麼會白白死去呢！”高祖大怒，先將李建成、李元吉二人召來，然後又把李世民召來，責備他道：“誰是天子，上天自然會授命於他，不是人的智力所能夠謀求的。你謀求帝位之心怎麼這般急切呢！”李世民摘去王冠，伏地叩頭，請求將自己交付執法部門查訊證實自己沒有說過這種悖逆之話，高祖仍然怒氣不息。適逢有人奏稱突厥前來侵擾，高祖這才改變了生氣的麵容，轉而勸勉李世民，讓他戴上王冠，係好腰帶，與他商議對付突厥的辦法。
武德七年閏七月廿一己未日（624年9月9日），高祖頒布詔書命令李世民與李元吉率領兵馬由豳州出發抵禦突厥，在蘭池為他們餞行。每當發生敵情，高祖總是命令李世民前去討伐敵人，但在戰事平息以後，高祖對世民的猜疑卻越發加重了。