從曆史事實上看，李淵做太上皇比他做皇帝更成功。
唐太宗貞觀九年五月，也就是公元635年6月，李淵在做了9年多的太上皇後，終於一病不起。他想自己去年秋天便已經中風臥床，而且年紀已經70歲了，算來生命已到盡頭，於是自己為自己下了一道詔令：“既殯之後，皇帝宜於別所視軍國大事。其服輕重，悉從漢製，以日易月。園陵製度，務從儉約。”就在發布詔令的當天，作為大唐王朝開創者的李淵，在長安大安宮垂拱前殿與世長辭。群臣上溢號為“大武皇帝”，廟號為“高祖”。
李世民聽到太上皇的遺詔，下令由太子承乾代為處理朝廷政事，他自己親自去料理父親的殯殮之事。
一個多月後，李世民恢複了聽政，立即召集群臣商議太上皇的陵墓規格，他首先提出意見道：“應該依照漢高祖長陵的規模，即高九丈，寬一百二十步，務在崇厚，不能有所減損。”
秘書監虞世南認為陵墓工程量太大，提出縮小規模的建議，《資治通鑒》中記載如下：
“聖人薄葬其親，非不孝也，深思遠慮，以厚葬適足為親之累，故不為耳。昔張釋之有言：‘使其中有可欲，雖錮南山猶有可隙。’劉向言：‘死者無終極而國家有廢興，釋之之言，為無窮計也。’其言深切，誠合至理，伏惟陛下聖德度越唐、虞，而厚葬其親乃以榘漢為法，臣竊為陛下不取。雖複不藏金玉，後世但見丘壟如此其大，安知無金玉邪！且今釋服已依霸陵，而丘壟之製獨依長陵，恐非所宜。伏願依《白虎通》為三仞之墳，器物製度，率皆節損，仍刻石立之陵旁，別書一通，藏之宗廟，用為子孫永久之法。”
李世民本不想接受這個意見，就裝作沒有聽清的樣子，顧左右而言他。
可是，虞世南為此又上書說：“漢天子即位即營山陵，遠者五十餘年，今以數月之間為數十年之工，恐於人力有所不逮。”
李世民又覺得虞世南的建議很有道理，便讓大臣們再議，後經眾臣議論，都認為房玄齡的意見比較切實可行，這方案是：
“漢長陵高九丈，原陵高六丈，今九丈則太崇，三仞則太卑，請依原陵之製。”
這裏說的原陵，是東漢光武帝劉秀的陵墓，在李世民看來，劉秀是光武中興的明主，能依原陵建墓，也算是一個開國皇帝的規格了，便同意以房玄齡的意見為準，按光武帝原陵的規格修建了獻陵。
決定了陵墓的規格後，還要決定陵墓的內容，秘書監虞世南極力反對厚葬，他引用魏文帝曹丕的話說：
“自古及今，未有不亡之君，無有不發之墓，至乃燒取玉匣金縷，骸骨並盡，乃不重痛哉！若違詔妄自變改，吾為戮屍於地下，死而重死，不忠不孝，使魂而有知，將不福汝。”
於是諫議大夫朱子奢請求立三昭三穆而虛太祖之位，便開始修建太廟，以供養李氏家族的祖先。
房玄齡等人認為李唐王朝源始於關隴，聯姻於鮮卑，想以西涼王李暠做始祖；左庶子於誌寧卻說道：“這位李暠是隴西成紀人（也就是今天甘肅省天水市人）。而李暠的十六世祖，就是西漢武帝時因抗擊匈奴、大名鼎鼎的飛將軍李廣，因此，李唐的始祖應該是李廣。”
李世民卻說道：“朕之體係，起自柱下。”
這裏說的“柱下”，即柱下史，傳說老子曾經擔任過周朝的柱下史，這就把李唐的始祖拉得更遠了。