李世民打下洛陽後，召李玄道為秦王府主簿，之後又選他為文學館學士。李玄道之所以為李世民所看重，一方麵因為他出身冠族，有名望，另一方麵也是房玄齡的關係在起作用。《舊唐書》說：“房玄齡即玄道之從甥也，”《資治通鑒》卻說：“長史李玄道，房玄齡從甥也”不知孰是，反正他倆是本家甥舅關係。所以，李玄道的日子就好過多了。
貞觀元年，李玄道升官為給事中。當時，唐太宗過去的部將王君廓為幽州都督，太宗又怕武將不習政事，便任命李玄道為幽州長史，幫助王君廓維持府事。這一任命又給王君廓、李玄道惹來了許多麻煩。
王君廓本來是不怕麻煩的主兒，沒事還想給別人找點麻煩。王君廓原為匪盜，聚眾劫掠。李密派人去招降他們，他們便投靠了李密。後來李淵也派人招降他們，另外兩個頭領要降唐，王君廓殺了他們去投李密，但李密對他不重視，於是王君廓回過頭來又降了李淵。
武德三年七月，李世民、李元吉率大軍東征洛陽，王君廓是其猛將之一，並多有戰功。他先是奉命攻占洛陽，切斷東都糧道；隨後攻克轅，並設伏大破敵軍，一直打到管城。在此以前，他還用奇策退過強敵，李淵下詔嘉獎他：“卿以十三人破賊一萬，自古以少製眾，未之有也。”
竇建德應王世充請求來救洛陽時，人多勢眾，但李世民決心一舉平定竇建德和王世充兩支割據勢力，采取薛收、郭孝恪的意見，圍城打援，在武牢阻止竇建德。王君廓又襲抄了竇建德的糧運。相持月餘後，竇建德全體出動逼近關前。雙方先派了幾百人試探性地打一打，唐軍出戰的是王君廓的200名長槊手。王君廓很好地貫徹了李世民的意圖，乍進乍退，兩無勝負，讓竇建德的10萬大軍從早上陪站到大中午。竇建德的士兵自亂陣腳後，唐軍全線出擊，一戰成功。
後來，王君廓又隨李世民平定劉黑闥，奉命鎮守幽州。當時突厥入寇幽州，王君廓擊敗突厥，俘斬2000多人。李淵聞報大為高興，專門把王君廓召到長安，賜給禦馬，讓他騎馬出宮殿，還對大臣說：“吾聞藺相如叱秦皇，目皆出血。君廓往擊竇建德，李遏之，君廓發憤大呼，目及鼻耳一時流血。此之壯氣，何謝古人，不可以常例賞之。”又賜給錦袍金帶，讓他還去鎮守幽州。
當時和王君廓同守幽州的還有廬江王李瑗。他是李淵的本家侄子，由於不習邊事，李淵派王君廓輔助他。李瑗倚王君廓為心腹，許以婚姻。太子李建成外結李瑗，準備對付李世民。李建成被殺後，李世民派人召李瑗，李瑗很害怕。王君廓煽火著讓李瑗造反，然後自己再從中漁利。李瑗果真造反。有人看出王君廓不可靠，勸李瑗用王詵代替王君廓。李瑗還沒拿定主意，王君廓已知此事，立即趕去殺了王詵，又抓住李瑗勒殺。王君廓教人謀反，然後又落了個平叛有功，升任左領軍大將軍兼幽州都督，並得了李瑗的家口。
王君廓輔助李瑗把李瑗斷送了，李玄道輔助王君廓也把王君廓給斷送了。不過兩者的情況有一點不同：王君廓斷送李瑗是包藏禍心，有意為之；而李玄道斷送王君廓卻是無意中產生的偶然事件。王君廓自以為聰明過人，再加上天高皇帝遠，幹事就沒個譜兒，縱逸不法。偏偏李玄道認死理，就是要阻止他，經常拿王法嚇唬他。王君廓還真怕李玄道告他，坐臥不安。王君廓也想收買李玄道，曾送他一個婢女，李玄道問婢女從哪兒來的，婢女說她本是良家女子，被王君廓搶來的。李玄道便讓這個婢女回家去了，王君廓很不高興。
後來王君廓進京朝見，李玄道托他捎一封信給房玄齡。王君廓心裏有鬼，怕信中有不利於自己的內容，就偷拆了信看。誰料道這信竟是狂草而成，滿紙煙雲，沒一個認識的字。王君廓更加心虛，認定是告他的罪狀的信，十分惶恐。走到渭南，王君廓打定主意，要逃出李世民所能控製的範圍，因為他知道沒有人能鬥得過李世民。於是，他殺了驛卒，逃亡突厥。他曾大敗過突厥，結下怨仇，但仍想冒險一試，大概是覺得突厥比內地安全些。但沒容他逃多遠就被老百姓殺了。
在這件事上，李玄道沒有什麼責任的，一封家信，問個平安，字跡匆草，隻不過是善於草書，寫著順手而已，算不上什麼過錯。但他還是被流配州。
好在時間不長又被征還，起用為常州刺史。李玄道當官是個好官，名士們喜歡清靜無為，老百姓就少受些糟害；李玄道自己又廉潔，不刮地皮。不擾民，不貪財，這就是好官，老百姓就能安居樂業。唐太宗知道了李玄道的政績，十分高興，專門下詔褒獎，並賜以綾。
貞觀三年，李玄道上表請求退休。唐太宗給他加官銀青光祿大夫，讓他帶俸祿回家休養。不久，李玄道病逝，在清靜無為中度過一生。