李淵祖籍隴西成紀，祖父李虎，是後魏左仆射，封隴西郡公，官至太尉，成為著名的八柱國之一，位極尊貴，死後被追封唐國公。父親李曬，襲封唐國公，北周時任安州總管、柱國大將軍。公元566年，李淵出生於長安，不久世襲唐國公。
青年李淵，倜儻豁達，任性率真，寬仁容眾，在當時的人們心目中有很高的威望。隋文帝獨孤皇後是李淵的姨母，因此，李淵在朝廷中十分受寵，曆任潐州（今安徽宅縣）、隴州（今陝西隴縣）、岐州（今陝西鳳翔縣）刺史。
李淵的妻子竇氏，是京兆平陵人，父親竇毅在北周是上柱國，母親是北周武帝的姐姐襄陽長公主，所以竇氏就是武帝的外甥女。竇氏從小就很聰明伶俐，深受武帝喜愛，被留在宮中。武帝當時的皇後是突厥女，其時突厥犯境，武帝不得已與之成婚，婚後始終耿耿於懷。竇氏卻勸說舅舅隱忍，保持與突厥的婚姻，以消除北方的威脅，全力對付南陳和北齊。
在楊堅取代北周時，竇氏說：“我恨自己不是男子，無法為舅舅家掃除禍患。”嚇得父親趕緊捂住她的嘴：“不要胡說！這是滅門之罪！”
竇毅認為自己的女兒不是等閑之輩，在選女婿時想了一個辦法：讓人在門屏上畫了兩隻孔雀，凡是兩箭各射中一隻孔雀眼睛的，就招為女婿。前邊有幾十人都沒有射中，輪到李淵之時，兩箭都射中孔雀的眼睛。竇毅十分高興，便把女兒嫁給了李淵。
竇氏的聰明超出了一般人。一次，楊廣看到李淵的臉上皺紋較多，便戲稱李淵是“阿婆”。李淵回到家中很不高興，竇氏問清原因，馬上賀喜道：“這是吉兆啊，你繼承的是唐國公，‘唐’便是‘堂’，‘阿婆麵’就是指‘堂主’啊！”竇氏指的是李淵將來要做皇帝，取代楊廣。竇氏育有4子，分別為建成、世民、元霸、元吉。元霸16歲夭折。
隋初，李淵為滎陽、樓煩二郡太守，不久，又被任命為殿內少監。公元613年，升為衛尉少卿。這一年，楊廣發動了侵略高麗的戰爭，李淵受命在懷遠鎮負責督運糧草。當時，民不堪苦，怨聲載道，大貴族楊玄感利用人民的不滿情緒，起兵反隋。李淵飛書奏聞，楊廣命李淵鎮守弘化郡（今甘肅慶陽縣）兼知關右諸軍事，以備抵禦楊玄感。楊玄感兵敗，李淵留守如故。在這期間，李淵廣樹恩德，結納豪傑。
公元617年，李淵被任命擔任太原留守。太原是軍事重鎮，不僅兵源充沛，而且餉糧豐厚，軍糧可供10年之用，因此李淵十分高興，意欲在太原發展自己的勢力，以圖大舉。
李淵剛到太原之初，有“曆山飛”農民起義軍結營於太原之南，上黨、西河、京都道路都被斷絕。李淵出兵擊敗義軍，鞏固了自己在太原的統治地位。晉陽一帶的官僚、地主、豪紳也紛紛投靠李淵。李淵又命次子李世民在晉陽密招豪傑，傾財賑施，廣納賢才。其長子李建成也在河東暗中交結英俊，發展勢力，而此時的楊廣又遠在江都，沉湎酒色，鞭長莫及。李淵在太原韜光養晦等待時機。
隋朝末年，隋煬帝楊廣的殘暴統治，使得階級矛盾十分尖銳。隋煬帝楊廣即位後，就大興土木，建東都、修長城、開運河、築馳道，弄得民不聊生。
楊廣好大喜功，巡遊江南，北上榆林，以誇耀自己的武力；出兵邊塞，侵略高麗，以顯示自己的威風。由於徭役深重，戰爭頻繁，社會生產遭到嚴重破壞，人民生活痛苦不堪。廣大群眾無法生活下去，不得不鋌而走險，以武力反抗隋煬帝楊廣的殘暴統治。
公元611年，各地農民起義風起雲湧，有的隋軍將領也割據一方。天下沸騰，群雄割據，全國有100多支反隋大軍。
在反隋鬥爭中起義軍逐漸走向聯合，逐漸形成了以李密、翟讓領導的瓦崗軍，杜伏威領導的江淮起義軍，竇建德領導的河北起義軍三支主要力量。在農民起義的衝擊下，隋煬帝楊廣的統治已岌岌可危，處在風雨飄搖之中。