一聽到揚州大都督要造反的消息，李淵心計如焚，因這個消息很不確定，不好召集大臣商議，隻得悄悄地把自己的心腹撿校右廂宿衛武士彠召來。
武士彠，字信，並州文水(今屬山西)人，青年時期曾挑擔子去各村賣過豆腐，又曾和同鄉許文寶經營過木材生意，“因致大富”。據《冊府元龜》記載：武士彠“才器詳敏，少有大節，及長，深沉多大略，每讀書，見扶主立忠之事，未嚐不三複研尋，嚐以慷慨揚名為誌”。武士彠是個讀書識字有政治抱負的人，而不是以致宙為目的的一般商人。隋朝來年，由於隋煬帝楊廣的殘暴統治，並州和全國一樣，到處爆發了農民起義。就在這樣的形勢下，“深沉行人略”的武士兵彠，棄商從戎，在太原做—名隊正。
武上彠的發跡，與他結認並忠誠李淵、李世民父子有直接關係。大業十一年（６１５），隋煬帝派遣世襲貴族唐公李淵為並州、河東撫慰大使，鎮壓今山西境內的毋端兒、曆山飛等農民起義軍。李淵初到並州，“行寫於汾、晉”，就和“家富於財，頗好交結”的武士彠建立了聯係，並經常“休止其家”，受到很好的款待。第二年，李淵做了太原留守（太原地區最高長官），就委任武士彠為行軍司鎧參軍。當時，人民到處起義，聲勢浩大，武士彠陰勸李淵起兵，並進“兵書及符瑞”。李淵表示：理解他的好意，如果將來取得成功，“當同富貴耳”。當時李淵是太原地區最高長官，武士彠是其下級官吏，他們竟敢一起討論十惡不赦的“謀反”之事，可見他們之間的關係是很深厚的了。
大業十三年初，李淵、李世民父子，見隋朝大勢已去，決定乘亂起兵，奪取天下，遂命劉文靜、長孫順德、劉弘基分頭召募士兵，引起了太原副留守王威、高君雅的懷疑，並表示要按查此事。由於武士彠的勸說，王威、高君雅沒有采取什麼行動，為李淵消除了起兵的障礙。
李淵在太原起兵時，建立大將軍府，武士彠為大將軍府司鎧參軍，並隨唐軍西行進入長安。唐朝建立後不久，李淵對支持他起兵的功臣大加封賞，武士彠為二級功臣，並給予他以犯罪免死的優待。他作為皇上最信任的人，本可以擔任更高的官職，但是為了更好地為皇上分憂，他願意“撿校右廂宿衛”即做唐宮近衛軍軍官。
武士彠在近衛軍中供職期間，仍留在原籍的夫人相裏氏和一個兒子相繼死去。武士彠勤於職守，沒有回家。後來李淵知道此情況後，特下敕表揚。武士彠的妻子死去不久，李淵就主動為他這位“廉儉”“忠勤”的功臣老友考慮起續娶的問題了。李淵選中隋朝貴族楊達的女兒，令桂陽公主主辦婚事，結婚費用全部由國庫支給。皇帝提親、公主主婚、費用國家支給，這是曆史上罕見的殊恩和殊榮，足見李武兩家關係之密切。
李淵把自己的擔心告訴了武士彠，武士彠道：“不知皇上從何處得知此消息？”
李淵道：“傳聞甚多，宮中也有此傳聞。”
武士彠道：“臣也曾聽人說過。”
“哦，你怎麼看？”李淵問。
“臣不信有此事。揚州都督要造反，臣寧願不要自己的腦袋。”
你怎麼如此肯定？”
“陛下，揚州都督是您侄子，知侄莫如叔，陛下英明蓋世，難道您也認為您的侄兒要造反嗎？”
“這我也有點不大相信，可是不能不擔心。”
“要說擔心，我也擔心。”
“這是怎麼說？”
“雖然揚州都督以皇侄之親、以正直之性鎮守揚州，然當此天下初定之時，他手握重兵，風吹即有草動，不能不令人不防。”
“不錯，愛卿可謂一針見血。”
“然防需得法。”
“依愛卿，有何高見？”
“臣請陛下擇一心腹之臣入揚州為官，就近監視。”