在這之後，隋朝的統治更加不穩，隋煬帝也感到了末日將臨，更加縱酒享樂，好像是要抓住最後的機會過把癮。他還想遷都丹陽，保據江東，放棄中原。虞世基等人讚成，但右侯衛大將軍李才力主打回長安。最後還是虞世基的意見占了上風，隋煬帝已派人整修丹陽宮去了，準備遷徙。
這時江都糧盡，隋煬帝的禦林軍多是關中人，看見隋煬帝無意西歸，紛紛逃散。虎賁郎將司馬德戡是關中扶風人，隋煬帝讓他率領號稱“驍果”的禦林軍駐守東城。司馬德戡和元禮、裴虔通商議說：“今驍果人人欲亡，我欲言之，恐先事受誅；不言，於事後發，亦不免族滅，奈何？又聞關內淪沒，李孝常以華陰叛，上囚其二弟，欲殺之。我輩家屬皆在西，能無此慮乎？”於是決定和驍果們一起逃亡。他們還聯絡了一大批官員和將領，準備來個集體大逃亡。
這事給宇文智及知道了，他對司馬德戡說：“主上雖無道，威令尚行，卿等亡去，正如竇賢取死耳。今天實喪隋，英雄並起，同心叛者已數萬人，因行大事，此帝王之業也。”於是相約兵變，推宇文智及之兄、右屯衛將軍宇文化及為主。
司馬德戡派人在驍果中傳言，說隋煬帝要毒死關中驍果，隻留下南方人；驍果皆懼，反心更切。兵變策劃者又提前掌握各個環節，宮門不下鍵，街巷布兵，又把隋煬帝的貼身衛兵都派了出去，同時封鎖周圍，不許出入。司馬德戡領兵從玄武門殺入，隋煬帝易服逃到西閣，被令狐行達等人抓住。隋煬帝對裴虔通說：“卿非我故人乎！何恨而反？”裴虔通回答說：“臣不敢反，但將士思歸，欲奉陛下還京師耳。”隋煬帝倒乖巧，隨口就說：“朕方欲歸，正為上江米船未至，今與汝歸耳！”
裴虔通讓隋煬帝出去見百官，牽來馬逼他騎乘，隋煬帝嫌馬鞍破舊，非要換一付新馬鞍才肯騎。隋煬帝出去的第一句話是：“世基何在？”兵變者馬文舉大聲說：“已梟首矣！”隋煬帝這才知道大事不好，死到臨頭了。實際上他對死是有準備的，經常帶一瓶毒藥，對所寵幸的妃子說：“若賊至，汝曹當先飲之，然後我飲。”沒想到，真的出事了，左右都一逃而散，想找毒藥都找不見了。
司馬德戡等人把隋煬帝押回寢殿。隋煬帝歎息道：“我何罪至此？”馬文舉說：“陛下違棄宗廟，巡遊不息，外勤征討，內極奢淫，使丁壯盡於矢刃，女弱填於溝，四民喪業，盜賊蜂起；專任佞諛，飾非拒諫；何謂無罪！”隋煬帝狡辯說：“我實負百姓；至於爾輩，榮祿兼極，何乃如是！今日之事，孰為首耶？”司馬德戡說：“溥天同怨，何止一人！”裴虔通當著隋煬帝的麵殺了煬帝幼子越王楊果，下一個就該輪到隋煬帝了。這個獨夫民賊倒不怕，還擺了個大架子：“天子死自有法，何得加以鋒刃！取鴆酒來！”馬文舉不許，隋煬帝便解下練巾交給令狐行達，令狐行達勒死了這個罪惡滔天的暴君。
倒行逆施的楊廣罪有應得，助紂為虐的虞世基被殺也理所當然。虞世基被殺時，虞世南抱著其兄放聲大哭，又請求宇文化及允許他替兄一死，但宇文化及不允許。虞世基死後，虞世南悲哀傷痛，形銷骨立，時人稱讚他能盡孝悌之道。
宇文化及殺虞世基而不株連虞世南，恐怕是不看出身，重在政治表現。虞世南安分守己，勤懇本份，沒有參與作惡，與虞世基雖是至親兄弟，走的卻是兩條路。公道自在人心，宇文化及和其他人自然沒有理由牽扯虞世南。
宇文化及隨後自稱大丞相，總攬大權，立秦王楊浩為帝，留大將陳守江都，然後率群臣和大軍從水路西歸。宇文化及擁兵十餘萬，據有六宮，像隋煬帝一樣地享受。軍至彭城，水路不通，宇文化及派人奪民間牛車兩千輛，載著宮女珍寶，兵器甲戈卻讓士兵扛著，路遠人疲，怨聲四起。司馬德戡發現宇文化及不是成事的主兒，就和趙行樞等人密謀廢除之，結果消息走露，反被宇文化及所殺。
經此內耗，宇文化及部下離心離德，雖有精兵十萬，卻是外強中幹。但這隻紙老虎卻很嚇人，據守洛陽的越王楊侗害怕了，立即采用元文都的建議，用官爵籠絡李密東扼宇文化及。從李密自身的利益來說，他也必須麵對這個難題；既要東出擊敗宇文化及，又不讓東都兵馬從背後攻擊，他缺乏兩路同戰或圍一打一的膽略與才能，所以隻能采取下策，先投靠楊侗旗下，擊敗宇文化及後再作打算。
宇文化及在瓦崗軍麵前吃了敗仗，轉進東郡，東郡通守王軌降了宇文化及。宇文化及又去攻擊徐世所守的黎陽，李密與徐世互為犄角，殺敗宇文化及。宇文化及逃奔魏縣，部下逃亡離散，宇文化及，宇文智及兄弟無計可施，每日裏借酒澆愁，互相埋怨。最後，宇文化及殺了楊浩自立為帝，不久即被竇建德打敗。竇建德為隋煬帝舉哀，殺了宇文化及等，任用隋朝舊臣，建立統治製度。虞世南被任命為黃門侍郎。
李世民在武牢活捉竇建德，把虞世南也羅致府中，引為秦府參軍，隨後轉為記室，與房玄齡共掌文翰。在重儒喜文的李世民的部下，虞世南的才能得到了充分的發揮。李世民曾讓他把《列女傳》寫下來裝屏風用，當時手邊沒有書，虞世南憑著記憶默寫出來，竟一字不差。
李世民即位後，虞世南任著作郎，兼弘文館學士。當時虞世南已年屆古稀，垂垂老矣。他上表要求退休，唐太宗舍不得讓這位良臣和文友離開，就沒有批準。太宗想讓虞世南擔任太子右庶子一職，虞世南固辭不就，太宗便讓他作了秘書少監。虞世南對唐太宗發自內心地敬佩，寫了一篇《聖德論》稱讚太宗，太宗手詔答道：“卿論太高。朕何敢擬上古，但比近世差勝耳。然卿適睹其始，未知其終。若朕能慎終若始，則此論可傳；如或不然，恐徒使後世笑卿也！”
唐太宗很器重博學多識的虞世南，經常在政務之餘和虞世南共觀經史，談論古今治亂之理。詩興來了，兩人也互相唱和，探討詩文。虞世南長了一副標準的書生相，清瘦柔弱，好像是弱不禁風的樣子，但秉性正直剛烈，敢於進諫，敢於堅持真理。說到古今曆代帝王為政的得失，他都要聯係實際規諫太宗；他也是個忠誠勤謹、嚴於律己的人。唐太宗曾對群臣說：“朕因暇日與虞世南商略古今，有一言之失，未嚐不悵恨，其懇誠若此，朕用嘉焉。群臣皆若世南，天下何憂不理。”
古代帝王信天命，一見到自然災害和不能解釋的現象，就認為是上天的警告，急忙找原因，想法消除，以求得上天的原諒。英明的唐太宗也不能超越這一局限，見到此類情況，往往求教於博學的虞世南。虞世南也就借事據史，闡發一些勤政愛民的道理，提出一些有利於穩固統治的建議。貞觀八年，隴右山崩，大蛇屢現，山東和江淮又發了幾次大水。唐太宗問虞世南這是什麼原因，虞世南說：“春秋時梁山崩，晉侯召伯宗而問焉，對曰：‘國主山川，故山川崩竭，君為之不舉，降服，乘縵，撤樂，出次，祝弊以禮焉。’梁山，晉所主也，晉侯從之，故得無害。漢文帝元年，齊、楚地二十九山同日崩，水大出，令郡國無來貢獻，施惠於天下，遠近歡洽，亦不為災。後漢靈帝時，青蛇見禦座。晉惠帝時，大蛇長三百步，見齊地，經市入朝。案蛇宜在草野，而入市朝，所以可為怪耳。今蛇見山澤，蓋深山大澤必有龍蛇，亦不足怪也。又山東足雨，雖則其常，然陰淫過久，恐有冤獄，宜省係囚，庶幾或當天意。且妖不勝德，唯修德可以銷變。”唐太宗依言行事，派人到災區慰問並發放救濟物資，派人申理獄訟，適當減輕了刑罰，對一些罪行不大的人進行了寬大處理。