當上宰相的李靖並沒有忘乎所以，他知道自己出將入相，已經是人臣之極。位高權重，樹大招風，已經成了許多同僚心中嫉妒的對象，也是人君防範的對象，這個時候如果不懂得韜光養晦，貪戀權勢，很可能重蹈曆史上那些功臣兔死狗烹的命運，於是他更加謹小慎微，戰戰兢兢，如履薄冰，在朝堂之上，很少說話，看著好似一個啞巴。
貞觀八年（634年）正月，唐太宗李世民向分派大臣擔任全國諸道黜陟大使，不知道誰合適。
李靖在朝堂之上向唐太宗推薦魏征。
李世民說：“征箴規朕失，不可一日離左右。”
於是對李靖說：“要麼靖兄你就帶頭走一趟？”
李靖看李世民既然這樣說了，隻好答應說：“沒問題。”
也是李世民就命令李勣和蕭瑀等十三個重臣分行天下，李世民特意安排說：“諸位愛卿，你們這一趟一定要不虛此行，到了地方上，要查明地方官的優劣，老百姓的疾苦，對待年齡大的人要禮遇，對待貧困的老百姓要救濟，對待地方上遺漏的人才要大力推薦，你們的所到之處，就像我親自到過看過一樣。”
大家說：“一定不辱使命，讓陛下放心。”
李靖在外出差了兩個多月，回京後向唐太宗做了詳細的彙報。唐太宗對他的工作非常滿意，對他進行了慰勞。
七月份，李靖的腳出了毛病，走路受到了影響，於是向唐太宗上書，請求辭去宰相的職務，申請退休。
唐太宗同意他辭去宰相的職務，但是，仍然讓他擔任特進的職務，各種待遇和擔任宰相時一個樣，每三兩日至門下、中書平章政事。
吐穀渾，亦稱吐渾，中國古代西北民族及其所建國名。本為遼東鮮卑慕容部的一支，藏族人民稱之為阿柴。是西晉至唐朝時期位於祁連山脈和黃河上遊穀地的一個古代國家。
唐太宗剛剛登基的時候，吐穀渾可汗伏允曾經遣使入貢，但使者還沒有回去，他就迫不及待地到唐朝的鄯州大肆擄掠，李世民派遣使者去責備他，並且征召伏允入朝，他稱疾不至，仍為其子尊王求婚。
唐太宗為了感化他，仍然答應了這件事，但是命令其子親自到長安迎親，尊王又不至，於是唐朝和他們絕婚。
伏允氣不過，於是就又派遣大軍擄掠蘭、廓二州。
唐朝的使者趙德楷被扣留，唐太宗派遣使者去了十次，但都無功而返。唐太宗還不死心，又親自召見他們的使者，告訴他們不要和大唐為敵，到時候大唐一旦失去了耐心，發兵征討，那個時候再後悔也來不及了。到時候身死國滅，又何必呢？
使者回去後，告訴伏允，但他終究覺得唐朝和自己路途遙遠，唐軍不會到底這麼遠的地方，所以沒有悔改的意思。
唐太宗忍無可忍，當年六月，派遣左驍衛大將軍段誌玄為西海道行軍總管，左驍衛將軍樊興為赤水道行軍總管，將邊兵及契苾、黨項之眾進攻吐穀渾。
段誌玄率領的唐朝大軍很快就擊破吐穀渾，唐軍追擊八百餘裏，到距離青海湖三十餘裏時，吐穀渾驅趕著牧馬逃走了。
唐太宗詔令段誌玄追擊到青海海奪取吐穀渾的牧馬，段誌玄停留不前，被唐太宗罷免其官職。
貞觀八年十一月，吐穀渾再次侵犯涼州，唐太宗李世民覺得徹底解決吐穀渾的問題，於是決定派大軍征伐。
但對於唐軍的主帥，到底應該選擇誰，他心裏還是特別鍾意李靖，以為非李靖莫屬，因為隻有李靖打仗才讓他放心。換了別人，大軍出征之日，他就不能睡覺了，那個滋味，誰受得了呢！