李玄道祖籍隴西，世居鄭州，是有名望的冠族。他的祖父，父親分別在魏代和隋代為官，李玄道自己在隋也作個小官，是齊王楊？的府屬。自從元德太子楊昭死後，應該是齊王楊？繼承嗣位，元德太子下屬的兵、吏兩萬多人都歸屬了楊？隋煬帝也為楊？配備了僚屬。不料，齊王楊？卻驕恣自縱，多為不法。他手下有幾個小人，專門搶民間美女供楊？淫樂，又勒索胡人，責求名馬。隋煬帝楊廣還為一個女人對楊？大光其火。樂平公主曾向隋煬帝報告說柳氏女美，隋煬帝沒有表態。過了一段時間，樂平公主又把她推薦給楊？楊？把她納入府中。其後，隋煬帝想起了柳氏女，問公主：“柳氏女安在？”樂平公主隻好據實回答：“在齊王所。”隋煬帝很不高興。楊廣楊？父子去打獵，楊？獵獲多，楊廣卻什麼也沒打著，於是發怒，找楊？的罪責。當時有個規定：縣令無故不得出境。楊？違反了這個規定，把他所親近的一個縣官帶到了汾陽宮。禦史韋德裕領會了隋煬帝的聖意，窮究其事，又查出一串醜事來：“楊？與妻姊私通，生有一女，還有一個相麵的說：此產子者當為皇後。”楊？還搞了些旁門左道的厭勝之術，希望能咒死元德太子的三個兒子。當時，隋煬帝成年的兒子就楊？一個，他曾對侍臣說：“朕唯有？一子，不然者，李玄道清靜無為當肆諸市朝以明國憲。”從此，楊？的日子就不好過了：“雖為京尹，不複關預時政。帝恒令虎賁郎將一個監其府事？有微失，虎賁輒奏之。帝亦常慮？生變，所給左右，皆以老弱，備員而已”。
在這樣的背景下，李玄道作為府屬恐怕也難有什麼作用，隋煬帝是“備員而已”，大夥兒也就是“薪俸而已”。好在李玄道出身於超級士族，士族們都有一門特殊的本事：消磨時間。喝酒、談玄、遊山玩水，都是無用之事，卻自鳴清高，引以為榮。想來李玄道是很滿意自己的工作崗位的。
隋末天下大亂，隋煬帝猶自在江都享樂縱欲。當時，齊王楊？和隋煬帝的另外三個兒子及孫子燕王楊都跟隨著隋煬帝，李玄道沒有隨楊？南下，留在河南。李密攻下洛口，以李玄道為記室。
多虧李玄道未隨楊？去江都，否則在江都兵變中凶多吉少。公元618年三月，宇文化及等人發動兵變，殺死罪大惡極的隋煬帝及其隨同的子孫，隻有秦王楊浩與宇文化及之弟宇文智及相友善，得以幸免。最可悲的是，楊廣、楊？父子最後還互相猜疑。“帝聞亂，顧蕭後曰：‘得非阿孩耶？’化及使人就第誅，謂帝使收之，曰‘詔使且緩兒，兒不負國家！’賊曳至街中，斬之？竟不知殺者為誰，父子至死不相明。”
李密攻占了洛陽附近的幾個大糧倉，歸附者甚眾，又打了幾個大勝仗，部下人才濟濟，文有裴仁基、魏徵、祖君彥、李玄道等，武有秦叔寶、程知節、單雄信，李（原名徐世）等。李密雖然聰明機變，但缺乏統管全局的大局感，有作亂的才能，沒有治亂的本領，在形勢大好的情況下卻不知所措，昏招迭出，最後斷送了自己和瓦崗軍的前程。李密的第一個失誤就是殺害瓦崗軍的創始人翟讓。翟讓原是東都法曹，極其驍勇。因為犯事當斬，下在牢中。獄吏黃君漢放他出獄，翟讓便和單雄信、李等人上了瓦崗山，聚眾萬人。李密從楊玄感兵敗後一直亡命江湖，到處遊說，無人肯信。後來，李密投奔翟讓，幫助翟讓收攏了周圍其他武裝力量，又設計擊敗隋軍猛將張須陀。
李密的權勢和實力漸漸超過翟讓，但翟讓並不介意，他造反是迫於情勢，並沒有爭天下的野心。李密曾勸他進取兩京，改朝換代，他也沒多大的積極性。翟讓的哥哥和親信勸翟讓剝奪李密的大權，翟讓也沒有答應。但李密知道後起了歹心，設下酒宴請翟讓、徐世等，在酒席上殺了翟讓，砍傷徐世，後因諸將相勸，放過了徐世。李密殺翟讓使得瓦崗軍內部不和，將佐們有自疑之心。後來李密兵敗時單雄信勒兵自據不救李密，程知節、秦叔寶等人降王世充便是瓦崗軍離心離德的表現。
李密的第二個昏招是沒有搶在李淵之前入據關中，而在河南死拚數年，坐失良機。
李密幹的第三件蠢事是：在大兵圍逼洛陽的情況下，卻替對手和宇文化及打了一大仗，雖然獲勝，自損卻十分嚴重。之後，李密還想入洛陽朝見楊侗，半路上聽說王世充殺了元文都等才沒去送死。
李密擊敗宇文化及後，繼續和王世充在洛陽一帶對峙。洛陽城中無糧，李密軍中少衣，王世充派人搞交易，以布換米。李密聽了奸人邴元真的意見，準許了。於是，餓得半死的洛陽守軍又活過來了。李密此舉，當真是搬起石頭砸自己的腳。
武德元年九月，王世充趁李密兵疲馬少、兵力未複之際，出城決戰。裴仁基、魏徵力主深溝高壘，堅守十餘日再出戰，但諸將輕敵，都要出戰。李密惑於眾議而從之，交戰之際又不設壁壘，被王世充前後夾擊，全軍大潰，諸將多降，隻有徐世孤守黎陽，王伯當保李密逃向關中向李淵投誠。
李密兵敗，李玄道等人都做了俘虜。同時被俘的人一大堆，都害怕殺頭，愁得一夜睡不著覺。隻有李玄道一個人起居自若，說一句：“死生有命，非憂能了。”就倒頭睡去。第二天見了王世充，“舉措不改其常。”王世充知道他是個名士，讓他作了著作佐郎。