於是漢宣帝沒有采用趙充國的意見，命辛武賢為破羌將軍，許延壽為強弩將軍，率軍攻打羌部，同時責備趙充國遲遲不肯用兵，令其配合辛武賢作戰。趙充國堅持己見，再次上書說：“此次主犯是先零，而不是其他羌部。如果放著先零不管，先去攻擊其他羌部，放掉有罪的，誅殺無辜的，這不是明智的做法。先零最擔心的就是漢朝大軍一到，其他部落會違背盟約。如果我們先進攻其他羌部，先零就會出兵相救，這等於幫助先零鞏固他們的聯盟。果真如此，那麼這次平叛就會付出極大的代價。如果先打擊先零，其他羌部則無須勞煩一兵一卒就會臣服。”漢宣帝認為此計甚為妥當，便采納了。
趙充國率兵至先零地區，先零因為屯兵已久，所以戒備鬆懈，忽然看見漢軍到來，大為驚恐，丟棄車馬輜重，落荒而逃，企圖渡過湟水。因為道路狹窄，趙充國下令緩慢驅趕。有人建議說逐利宜速不宜遲，趙充國回答說：“已到窮途末路的敵寇，不能逼迫得太緊。緩慢驅趕，他們就隻顧著逃跑；如果逼迫得太緊，他們就會反過頭來殊死一搏。”果然，羌人溺水而死者數百人，漢軍納降及斬首五百餘人，俘獲各種牲畜十萬餘頭。漢軍到達其他羌人部落，秋毫無犯。羌人部落得知後，非常高興，相信漢軍不會攻擊他們，所以陸續前來投降。果如趙充國所說，平定其他羌部，沒有勞煩一兵一卒。
投降的羌兵已經上萬，趙充國料定先零羌必定敗亡，便打算撤除騎兵，屯田以待其因自身疲憊而敗亡。奏章還未發出，就收到漢宣帝的詔令，與破羌將軍辛武賢、強弩將軍許延壽合兵進攻先零。趙充國上書朝廷，陳述留兵屯田的十二大便利，認為以逸待勞則勝利在望。如果輕舉妄動，那麼敵患就不隻是羌人，因為還要防備匈奴和烏桓。漢宣帝采納了其建議，讓趙充國負責屯田事務。
趙充國每次上奏，漢宣帝都會讓大臣們討論他的計策。最初，認為趙充國意見正確的人隻有十分之三，後來增加到十分之五，最後增至十分之八，這都是因為他的計策逐漸收到實效的緣故。
趙充國去世後，被諡為壯侯。一年後，漢宣帝因為匈奴歸降，回憶往昔對漢朝有功之臣，乃令人畫十一名功臣圖像置於未央宮的麒麟閣中，趙充國便是其中之一。
先零羌：是古代羌人部落之一，是諸多羌人部落中較為強大的一支，很多羌人發動的叛亂都以先零羌為主要力量。
麒麟閣：漢武帝建於未央宮中，主要用於典藏曆代資料和曆史文件。甘露三年（公元前51年），漢宣帝因為匈奴歸降，回憶往昔對漢朝有功之臣，於是令人畫十一名功臣圖像置於麒麟閣。這十一人分別是霍光、張安世、韓增、趙充國、魏相、丙吉、杜延年、劉德、梁丘賀、蕭望之、蘇武。