李祖名淵，字叔德，姓李，隴西成紀人。李淵性情寬厚仁愛，襲位封為唐公。隋文帝的獨孤皇後，是高祖姨母，因此文帝與高祖親近。文帝任北周宰相時，恢複高祖姓李，委任他做侍衛官千牛備身，任用為隋朝的譙、隴二州剌史。
隋煬帝大業年間（公元605—617年），高祖曆任岐州刺史、滎陽、樓煩二郡太守，召任為殿內少監、衛尉少卿。煬帝征討遼東，派高祖在懷遠鎮督運軍糧。楊玄感謀反，隨從煬帝征遼的兄弟們盡都逃回，高祖事前發覺，稟報煬帝，煬帝迅即率軍返回，調高祖任弘化留守抵禦楊玄感，並詔令關右諸郡軍隊統受高祖調度指揮。
此時，隋朝政務荒廢，天下大亂，煬帝常常憑猜忌殺戳大臣。他曾因事召見高祖，高祖生病，未按時謁見。高祖的外甥王氏，在後宮供職，煬帝問王氏，王氏回稟高祖有病，煬帝說：“可會死嗎？”高祖聽後恐懼，於是放肆飲酒、收受饋贈，借以掩藏行跡。
李淵
大業十一年（公元615年），高祖任山西河東慰撫大使，還擊賊寇母端兒，射70箭全部射中，賊寇敗走。高祖收聚賊寇屍體壘高示眾，從屍體上盡數收得所射的箭。另一次，攻打絳州賊寇柴保昌，降服其部從數萬人。突厥侵犯邊塞，高祖與馬邑太守王仁恭迎擊，隋軍兵少，不足抵敵。高祖挑選兩千精銳騎兵作流動部隊，宿營、飲食、傍水就草，習俗如同突厥，並射箭捕獵縱馬馳騁，以示兵力優閑有餘；又另選擅長射術的士兵埋伏作為出奇製勝之軍。敵寇遭遇高祖，犯疑不敢交戰；高祖趁機攻擊，大敗突厥之軍。
大業十三年（公元617年），高祖任太原留守，在西河攻打高陽曆山飛的賊寇甄翟兒，擊破賊軍。這時，煬帝南遊江都，天下盜寇四起。高祖之子李世民料定隋朝必亡，暗中交結豪傑，招納逃亡人士，與晉陰縣令劉文靜策劃奪取天下，計謀已定，而高祖還不知曉，想以實情相告，又怕他不聽從。高祖留守太原，兼任晉陽宮監，他所讚許的賓客裴寂任副監。李世民暗地與裴寂商議，於是裴寂挑選晉陽宮的宮女私下侍奉高祖。高祖到裴家飲酒，酒興正濃心情舒暢時，裴寂將奪天下之事告訴他，高祖大驚。裴寂說：“正因為宮女私下侍奉您。事情暴露罪當處死，才這樣做的。”李世民也趁機稟告此事。高祖起初假裝反對，要抓李世民送官府，之後才表示讚同，說：“我鍾愛你，難道忍心告發你嗎？”但未發難。而他所在地區盜賊越來越多，突厥屢屢侵犯邊塞，高祖出兵不見功效，煬帝派使臣來抓高祖到江都，高祖十分恐懼。李世民說：“勢態危急，可以行動了！”隨即煬帝又派使臣快馬趕來赦免高祖，起兵發難才中止。
此時，劉武周起兵馬邑，林士弘起兵豫章，劉元進起兵晉安，都自稱皇帝；朱傑起兵南陽，號稱楚帝；李子通起兵海陵，號稱楚王；邵江海占據岐州，號稱新平王；薛舉起兵金城，號稱西秦霸王；郭子和起兵榆林，號稱永樂王；竇建德起兵河間，號稱長樂王；王須拔在恒、定一帶起兵，號稱漫天王；汪華在新安起兵，杜伏威在淮南起兵，都號稱吳王；李密在鞏地起兵，號稱魏公；王德仁在鄴地起兵，號稱太公；左才相在齊郡起兵，號稱博山公；羅藝占據幽州，左難當占據涇，馮盎占據高、羅，都號稱總管，梁師都占據朔方，號稱大丞相，孟海公占據曹州，號稱錄事；周文舉占據淮陽，號稱柳葉軍；高開道占據北平，張長孫占據五原，周洮占據上洛，楊士林占據山南，徐圓朗占據兗州，楊仲達占據豫州，張善相占據伊、汝，王要漢占據汴州，時德睿占據尉氏，李義滿占據平陵，綦公順占據青、萊，淳於難占據文登，徐師順占據任城，蔣弘度占據東海，王薄占據齊郡，蔣善合占據鄆州，田留安占據章丘，張青特占據濟北，臧君相占據海州，殷恭邃占據舒州，周法明占據永安，苗海潮占據永嘉，梅知岩占據宜城，鄧文進占據廣州，俚族首領楊世略占據循、潮，冉安昌占據巴東，寧長真占據鬱林，其他另有稱號的各盜群往往嘯聚山林水澤。當劉武周攻打汾陽宮時，高祖便召集眾將領，對他們講：“如今我任留守，如果賊寇攻占了皇帝別宮，即使賊寇不殺我等，論罪也該處死。但如迎擊，必待朝廷答複，眼下江都交通阻隔、路途遙遠，延誤了規定的奏報時間怎麼辦？”眾將、吏都說：“國家大事，現在能獨自決斷的，是您。”高祖說：“好！”於是招募兵丁，僅十日時間招得一萬人。副留守、虎賁郎將王威、虎牙郎將高君雅見大量募集士兵，疑心發生異常事變，商量趁著到晉祠求雨的機會除掉高祖。被高祖知道，就暗地作了防備。