後來星相又出現了異常，唐太宗問群臣：“天見彗星，是何妖也？”虞世南回答說：“昔齊景公時有彗星見，公問晏嬰，對曰：‘穿池沼畏不深，起台榭畏不高，行刑罰畏不重，是以天見彗星為公誡耳。’景公懼而修德，後十六日而星沒。臣聞：‘天時不如地利，地利不如人和’，若德義不修，雖獲麟鳳，終是無補，但政事無闕，雖有災星，何損於時。然願陛下勿以功高古人而自矜伐，勿以太平漸久而自驕怠，慎終如始，彗星雖見，未足為憂。”唐太宗聞言，鄭重其事地說：“吾之撫國，良無景公之過。但吾才弱冠舉義兵，年二十四平天下，未三十而居大位，自謂三代以降，撥亂之主，莫臻於此。重以薛舉之驍雄，宋金剛之鷙猛，竇建德跨河北，王世充據洛陽，當此之時，足為勁敵，皆為我所擒。及逢家難，複決意安社稷，遂登九五，降服北夷，吾頗有自矜之意，以輕天下之士，此吾之罪也。上天見變，良為是乎？秦始皇平六國，隋煬帝富四海，既驕且逸，一朝而敗，吾亦何得自驕也。言念於此，不覺惕焉震懼。”
貞觀九年，唐高祖李淵病逝。李淵遺詔要求薄葬，務從節儉。但唐太宗卻認為他父親打天下不容易，應該厚葬，陵墓的規模要趕上漢高祖劉邦的長陵。他下詔要求務從隆厚，並且期限短，用工多，很難完成。虞世南上書進諫：臣聞古之聖帝明王所以薄葬者，非不欲崇高光顯，珍寶具物，以厚其親。然審而言之，高墳厚壟，珍物畢備，此適所以為親之累，非曰孝也。是以深思遠慮，安於菲薄，以為長久萬代之計，割其常情而定耳。昔漢成帝造延、昌二陵，製度甚厚，功費甚多。諫議大夫劉向上書，其言深切，皆合事理。其略曰：孝文居霸陵，淒愴悲懷，顧謂群臣曰：“嗟乎！以北山石為槨，用絮陳漆其間，豈可動哉？’張釋之進曰：‘使其中有可欲者，雖錮南山猶有隙；使其中無可欲，雖無石槨，又何戚焉！’夫死者無終極，而國家有廢興，釋之所言，為無窮計也。孝文寤焉，遂以薄葬。”又漢氏之法，人君在位，三分天下貢賦，以一分入山陵。武帝曆年長久，比葬，陵中不複容物。霍光暗於大禮，奢侈過度。其後更始之敗，赤眉賊入長安，破武陵取物，猶不能盡。無故聚斂百姓，為盜之用，甚無謂也。魏文帝於首陽東為壽陵，作終製，其略曰：“昔堯葬壽陵，因山為體，無封樹，無立寢殿園邑，為棺槨足以藏骨，為衣衾足以朽肉。吾營此不食之地，欲使易代之後，不知其處，無藏金銀銅鐵，一以瓦器。自古及今，未有不亡之國，無有不發之墓，至乃燒取玉匣金縷，骸骨並盡，乃不重痛哉！若違詔妄有變改，吾為戮屍於地下，死而重死，不忠不孝，使魂而有知，將不福汝。以為永製，藏之宗廟。”魏文帝此製，可謂達於事矣。
向使陛下德止如秦、漢之君，臣則緘口而已，不敢有言。伏見聖德高遠，堯舜猶所不逮，而俯與秦、漢之君同為奢泰，舍堯、舜、殷、周之節儉，此臣所以尤戚也。今為丘壟如此，其內雖不藏珍寶，亦無益也。萬代之後，但見高墳大墓，豈謂無金玉耶？臣之愚計，以為漢文帝霸陵，既因山勢，雖不起墳，自然高顯。今之所卜，地勢既平，不可不起，宜依《白虎通》所陳周製，為三仞之墳，其方中製度，事事減少。事竟之日，刻石於陵側，明丘封大小高下之式。明器所須，皆以瓦木，合於禮文，不得用金銀銅鐵。使萬代子孫，並皆尊奉，一通藏之宗廟，豈不美乎！且臣下除服用36日，已依霸陵，今為墳壟，又以長陵為法，恐非所宜。伏願深覽古今，為長久之慮。臣之赤心，唯願萬歲之後，神道常安，陛下孝名，揚於無窮耳。
虞世南這篇諫書引經據典，步步緊逼，中心意思就是要唐太宗遵從高祖遺詔，一切節儉。諫書送上去後沒見反應。看來虞世南是下了決心要幫唐太宗省點錢，替老百姓省點力，他又一次上疏：“漢家即位之初，便營陵墓，近者10餘歲，遠者50年，方始成就。今以數月之間而造數十年之事，其於人力，亦已勞矣。又漢家大郡50萬戶，即目人眾未及往時，而功役與之一等，此臣所以致疑也。”其他大臣也奏請唐太宗遵從遺詔，務從節儉。最後，唐太宗把虞世南的疏轉交給房玄齡等，讓他們商量出一個可行的方案來。房玄齡等人商議了一個折衷的方案，認為“漢長陵高九丈，原陵高六丈，今九丈則太崇，三仞則太卑，請依原陵之製。”唐太宗接受了這一方案。
唐太宗和他父親一樣愛好打獵，虞世南對此也有規諫。不過，他的規諫和褚亮諫唐高祖一樣，詞藻典故一大堆，最後落在四個字上：“注意安全”。
貞觀十二年，虞世南又一次提出退休請求。這一回唐太宗再也不能拒絕了，因為虞世南此時已81歲。唐太宗授給他銀青光祿大夫和弘文館學士的官號，待遇和退休前一樣。虞世南隨後病逝，唐太宗為之舉哀，哭之甚慟。
虞世南死後被追贈為禮部尚書，諡號“文懿”，陪葬昭陵。唐太宗失去了一位而正過失的直臣、能交流思想的文友，其傷痛惋惜之情可想而知。他曾寫手敕給魏王李泰，其中高度評價虞世南：“虞世南於我，猶一體也。拾遺補闕，無日暫忘，實當代名臣，人倫準的。吾有小失，必犯顏而諫之。今其雲亡，石渠、東觀之中，無複人矣，痛惜豈可言耶！”不久，他寫了一首詩，追述曆史上的興亡之道，寫完後卻歎息道：“鍾子期死，伯牙不複鼓琴。朕之此詩，將何以示？”說完便讓褚遂良把詩拿到虞世南的靈前焚化，希望虞世南在冥冥之中能感知到。唐太宗還很傷感地對魏徵說：“虞世南死後，無人可以論書。”
唐太宗長時間地陷入這種“知音難覓”的遺憾中，不時地想起了虞世南，以致於數年之後他還夢見了虞世南，其音容笑貌一如生前。第二天，唐太宗下製書：“禮部尚書、永興文懿公虞世南，德行淳備，文為辭宗，夙夜盡心，誌在忠益。奄從物化，倏移歲序。昨因夜夢，忽睹其人，兼進讜言，有如平生之日。追懷遺美，良增悲歎。宜資冥助，申朕思舊之情，可於其家為設五百僧齋，並為造天尊像一區。”
貞觀十七年，唐太宗下令畫《淩煙閣二十四功臣圖》，虞世南也在其中，這是唐太宗對虞世南德才的又一次高度評價。虞世南在漫長的一生中，曆仕陳、隋、竇建德和唐，其才德始終是最好的，卻隻有在唐太宗李世民的領導下才充分發揮出來，體現出來，其他的時候他隻能做到獨善其身。虞世南為群星璀璨的貞觀時代增光添彩，他也是得益於充滿活力的貞觀時代才更加光芒四射，名垂史冊。