就在李淵準備退位的同時，李世民宣布了他的中樞人員構成：以高士廉為侍中，房玄齡任中書令，蕭瑀為尚書左仆射，長孫無忌為吏部尚書，杜如晦為兵部尚書，封德彝為尚書右仆射，杜淹為禦史大夫，顏師古為中書舍人，劉林甫為中書侍郎，侯君集為左衛將軍，段誌玄為驍衛將軍，薛萬徹為右領軍將軍，張公瑾為右武侯將軍：還有長孫安業為右監門將軍，李客師為領左右軍將軍。李淵見形勢發展比他想象的要快得多，認為沒有必要再在皇帝位子上坐下去了，於是在八月，也就是玄武門之變後的兩個月，宣布傳位於太子，自己做了太上皇。
李淵一旦退位，史書上有關他的內容就大大減少。隻知道李世民是在太子東宮的顯德殿登基做皇帝的，這就是曆史上著名的唐太宗。他考慮到沒有建新宮，李淵一下子丟了皇帝位心裏也不好受，故意不去驚動李淵的生活起居，這樣李淵仍然住在太極宮裏，並且仍然在太極殿裏接受李世民的彙報，這樣的情況一直維持了3年。直到貞觀三年（公元629年）夏四月，李淵覺得自己在國家正式的朝政宮殿裏住著不大合適，提出遷居到武德五年（公元622年）修建的弘義宮去，李世民才得以在太極宮內表現出繼承了李淵全部家業的樣子。當然，這不過是李世民故意給退位的父親留的一點麵子。
太上皇的日子對一個政治家來說總是很難適應的，李淵在享樂之餘，常過問一下國家情況如何了？不料聽到的多是好消息，尤其是貞觀四年（公元630年），他得知唐軍在對東突厥作戰中獲勝，擒獲東突厥首領頡利可汗，極為興奮，從城西的弘義宮出來，在太極宮淩煙閣主持祝捷宴會。如《資治通鑒》卷193所載：
上皇聞擒頡利，歎曰：“漢高祖困白登，不能報；今我子能滅突厥，吾托付得人，複何憂哉！”上皇召上與貴臣十餘人及諸王、妃、主置酒淩煙閣，酒酣，上皇自彈琵琶，上起舞，公卿迭起為壽，逮夜而罷。唐太宗見父親對開拓邊疆，征服四夷的功業感興趣，隻要有邊疆少數民族政權首領來長安，往往奏知太上皇。如貞觀五年（公元631年）高昌王鞠文泰來長安朝拜，唐太宗在宴請高昌王後，“親獻禽於大安宮”。大安宮就是李淵住的弘義宮，改名“大安”，是唐太宗對父親晚年的祝福。
唐太宗總怕別人說他從父親手裏奪取了政權，於是常在臣下麵前表現出對李淵的敬愛。如《資治通鑒》卷194載貞觀六年的一次表演：
冬十月乙卯，車駕還京師。帝侍上皇宴於大安宮，帝與皇後更獻飲膳及服禦之物，夜久乃罷。帝親為上皇捧輿至殿門，上皇不許，命太子代之。李淵明白兒子的用意，在外麵總表現出生活得很快活的樣子，這樣父子二人相安無事，李淵平安地度過了他的晚年。
貞觀八年（公元634年），正是唐太宗取得輝煌政績的時候，李淵似乎也感到很大的滿足，如《舊唐書》卷1《高祖紀》載：
貞觀八年三月甲戌，高祖宴西突厥使者於兩儀殿。顧謂長孫無忌曰：“當今蠻夷率服，古未嚐有。”無忌上千萬歲壽。高祖大悅，以酒賜太宗。太宗又奉觴上壽，流涕而言曰：“百姓獲安，四夷鹹附，皆奉遵聖旨，豈臣之力！”於是太宗與文德皇後互進禦膳，並上服禦衣物，一同家人常禮。是歲，閱武於城西，高祖親自臨視，勞將士而還。置酒於未央宮，三品已上成侍。高祖命突厥頡利可汗起舞，又遣南越酋長馮智戴詠詩，既而笑曰：“胡、越一家，自古未之有也。”太宗奉觴上壽曰：“臣早蒙慈訓，教以文道；爰從義旗，平定京邑。重以薛舉、武周、世充、建德，皆上凜睿算，幸而克定。三數年間，混一區宇。天慈崇寵，遂蒙重任。今上天垂佑，時和歲阜，被發左衽，並為臣妾。此豈臣智力，皆由上凜聖算。”高祖大悅，群臣皆呼萬歲，極夜方罷。這是李淵臨終前一年的情景，也是他自己感到滿足的事業高峰。雖然這一切基本都要算在兒子李世民的功勞簿上，但李世民把這一切歸功於父親的教誨、指導，自然使李淵感到欣慰。他開創了一個唐王朝，又眼看著這個王朝正在走向興旺發達，作為一個封建政治家，他應該覺得此生並不虛度。雖然太上皇的日子並非他的初衷，但他畢竟適應了這種生活。如果我們能想到他是在公元626年把政權交給李世民的，也就是說他讓李世民提前9年做了皇帝，使李世民的才幹更好地發揮了9年，應當說是一種因為曆史巧合而產生的曆史貢獻。