義寧元年(617)，李淵當上了太原留守。這時農民起義的烽火愈燒愈旺，隋王朝的統治江河日下，武士暗中勸李淵舉兵，並進兵書及符瑞。李淵大喜，說：“幸勿多言。兵書禁物，尚能將來，深識雅意，當同富貴耳。”隨即大量招募勇士，今劉弘基、長孫順德等分別統率。副留守王威、高君雅疑其有詐，對武士說，劉弘基之流都是征高麗時的逃兵，罪行嚴重，我想把他們抓起來審問，你看如何?武士竭力袒護李淵，回答說：他們都是李留守的貴客，如果貿然抓人，恐怕不大妥當。王威等人聽言，隻好作罷。李淵又令武士伏兵晉陽宮東門，以防不測。留守司兵田德平知道此事後，準備上告王威。武士曉以利害，製止了他的行動。
同年五月，李淵借故殺掉王威和高君雅，打起了反隋的旗號。武士被任命為中郎將兼司鎧參軍，主要掌管軍帳兵器。一切準備就緒之後，李淵乘農民軍與隋軍主力決戰之機，向關中進發。一路上，武士頻立汗馬之勞，李淵也不吝賞賜。呂州破，授右光祿。霍邑(今山西霍縣)定，拜壽陽縣開國公。攻下長安後，遷光祿大夫，賜宅一區，錢三百萬，綢五千段。及李淵居大丞相之位，武士又被任命為禮部侍郎、黃門侍郎，改封義原郡開國公，增食邑至一千戶，賜良馬二百匹，粟二千石。
義寧二年(618)三月，隋煬帝在江都絕望之際被宇文化及等人殺死。五月，李淵自立為帝，建立唐朝。宴慶之餘，論功行賞，武士被列為二等功臣，恕一死，拜上柱國金紫光祿大夫、散騎常侍兼檢校並鉞將軍，賜田三百頃、奴婢三百人，彩物二萬段、黃金五百斤，別食實封五百戶。
武德三年(620)，武士在原有職務的基礎上，又加工部尚書，修令典，振綱紀，十分稱職。唐高祖喜，進封應國公，加實封八百戶。士“固辭不受”，李淵乃封其兄司農卿士棱為宣城縣公，行台左丞士逸為六安縣公，使其一門三公。此後，武士又擔任了檢校右廂宿衛，判六尚書事等重要職務。這樣，武士便居官顯赫，飛黃騰達，由文水的木材商，變成了長安的新貴族。
從政治、經濟方麵來講，武士這幾年是很得意的。但是，在家庭問題上，卻有許多不幸。起初，他與汾陽相裏氏結婚，生了四個兒子。在他當並鉞將軍的時候，有兩個兒子病死了。一年後，相裏氏也因病身亡。這對他的打擊無疑是沉重的。然而他並沒有因此而消沉，仍一如既往，盡忠皇上。據說兒子病夭，無暇過問；妻子危篤，亦不出看，唯哀悼而已。李淵知道後，深受感動，當即下敕，說：“此人忠節有餘。去年兒夭，今日婦亡，相去非遙，未嚐言及。遺身徇國，舉無與比。”給了高度評價。隨後親自給武士找對象，並選中了楊氏。
義寧元年(617)，李淵當上了太原留守。這時農民起義的烽火愈燒愈旺，隋王朝的統治江河日下，武士暗中勸李淵舉兵，並進兵書及符瑞。李淵大喜，說：“幸勿多言。兵書禁物，尚能將來，深識雅意，當同富貴耳。”隨即大量招募勇士，今劉弘基、長孫順德等分別統率。副留守王威、高君雅疑其有詐，對武士說，劉弘基之流都是征高麗時的逃兵，罪行嚴重，我想把他們抓起來審問，你看如何?武士竭力袒護李淵，回答說：他們都是李留守的貴客，如果貿然抓人，恐怕不大妥當。王威等人聽言，隻好作罷。李淵又令武士伏兵晉陽宮東門，以防不測。留守司兵田德平知道此事後，準備上告王威。武士曉以利害，製止了他的行動。
同年五月，李淵借故殺掉王威和高君雅，打起了反隋的旗號。武士被任命為中郎將兼司鎧參軍，主要掌管軍帳兵器。一切準備就緒之後，李淵乘農民軍與隋軍主力決戰之機，向關中進發。一路上，武士頻立汗馬之勞，李淵也不吝賞賜。呂州破，授右光祿。霍邑(今山西霍縣)定，拜壽陽縣開國公。攻下長安後，遷光祿大夫，賜宅一區，錢三百萬，綢五千段。及李淵居大丞相之位，武士又被任命為禮部侍郎、黃門侍郎，改封義原郡開國公，增食邑至一千戶，賜良馬二百匹，粟二千石。
義寧二年(618)三月，隋煬帝在江都絕望之際被宇文化及等人殺死。五月，李淵自立為帝，建立唐朝。宴慶之餘，論功行賞，武士被列為二等功臣，恕一死，拜上柱國金紫光祿大夫、散騎常侍兼檢校並鉞將軍，賜田三百頃、奴婢三百人，彩物二萬段、黃金五百斤，別食實封五百戶。
武德三年(620)，武士在原有職務的基礎上，又加工部尚書，修令典，振綱紀，十分稱職。唐高祖喜，進封應國公，加實封八百戶。士“固辭不受”，李淵乃封其兄司農卿士棱為宣城縣公，行台左丞士逸為六安縣公，使其一門三公。此後，武士又擔任了檢校右廂宿衛，判六尚書事等重要職務。這樣，武士便居官顯赫，飛黃騰達，由文水的木材商，變成了長安的新貴族。
從政治、經濟方麵來講，武士這幾年是很得意的。但是，在家庭問題上，卻有許多不幸。起初，他與汾陽相裏氏結婚，生了四個兒子。在他當並鉞將軍的時候，有兩個兒子病死了。一年後，相裏氏也因病身亡。這對他的打擊無疑是沉重的。然而他並沒有因此而消沉，仍一如既往，盡忠皇上。據說兒子病夭，無暇過問；妻子危篤，亦不出看，唯哀悼而已。李淵知道後，深受感動，當即下敕，說：“此人忠節有餘。去年兒夭，今日婦亡，相去非遙，未嚐言及。遺身徇國，舉無與比。”給了高度評價。隨後親自給武士找對象，並選中了楊氏。
楊氏自幼聰敏，不學針線女紅，輕視紡績織布；明詩習禮，閱史披圖。據說寫過一句箴言：“當使惡無聞於九族，善有布於四方”，並藏之壁中。後來翻修房子，被工匠發現，交給其父楊達。楊達感歎不已，認為楊氏是“隆家之女”。後楊達隨煬帝征高麗，死於道中。楊氏從佛盡孝，為其父誦經追福。光陰茬苒，青春易逝。十幾年時間過去了，已是半老徐娘的楊氏仍然頂禮佛門，不曾出嫁。唐高祖認為楊氏嫁武士比較合適，就告訴武士：“隋納言遂寧公楊達，才為英傑，地則膏腴。今有女賢明，可以輔德。秦晉之匹，不能加也。”並親當婚主，官供所需，為他們舉行了隆重的婚禮。時在武德五年(622)前後，武士約46歲，楊氏約44歲。