在隋末唐初的政壇文壇上，虞世基、虞世南兄弟二人領盡風騷。虞世基在大業年間炙手可熱，權傾朝野；虞世南在武德、貞觀年間號令文壇，四方欽服。唐太宗讚揚虞世南有五絕：一曰德行，二曰忠直，三曰博學，四曰文辭，五曰書翰。
虞氏兄弟是越州餘姚人，他們的祖父和父親分別在梁代和陳代為官，享有盛名。他們的叔父在陳代任中書侍郎，膝下無子，便把虞世南過繼給他，所以虞世南字伯施。虞家兄弟小時候拜著名學者顧野王為師，學習經術文史。兄弟二人都聰明，但虞世南性格更內向些，沉靜寡欲，篤誌勤學，十餘年間，精思不倦。
虞氏兄弟文章都寫得好，在當時也有一定影響。南朝文學以詩和駢文為主，風格華麗輕巧，內容多是應酬與色情之類的，以梁簡文帝蕭綱和徐、徐陵父子、庾肩吾、庾信父子等為代表。尤其是徐陵，在陳任尚書仆射，官名和文名加在一塊兒，巍巍乎高不可攀。但虞世南還是攀上去了：“常祖述徐陵，陵亦自言世南得己之意。”
虞世南同時又是一位書法家。史載：與他同郡的和尚智永是一位大書法家，學習王羲之，王獻之的書法，曲盡其妙。虞世南拜智永為師，也得其真傳。虞世南的字姿榮五絕虞世南秀出，內含剛柔，代表作有《孔子廟堂碑》等。虞世南的書法成就也為他帶來了重大的現實聲譽和深遠的曆史聲譽。
陳天嘉年間，虞氏兄弟的父親虞荔病亡，當時虞世南尚幼，不勝悲哀。陳文帝聽說虞家兄弟博學多才，時常派人去他們家關照一二。服孝期滿後，二人被授予官職，虞世南作的是建安王法曹參軍。虞世南的養父虞寄滯留閩、越，陷於割據閩越的陳寶應而不能歸陳，虞世南著布衣，不食肉，以示擔憂。後來陳寶應兵敗，虞寄回來了，虞世南這才過上了正常的生活。
陳朝滅亡後，虞氏兄弟來到長安，本是以亡國奴的身份來的，卻受到了隆重熱烈的歡迎，人們把他倆比作西晉的陸機、陸雲兄弟。當時楊廣還是晉王，聽說虞家兄弟之名，和秦王楊俊寫信召他們，虞世南以母親年老為由推辭，但楊廣還是派人把他弄到晉王府。
楊廣登基後，虞氏兄弟開始受到重用，虞世基任內史侍郎，虞世南曆任秘書郎、起居舍人，都是皇帝身邊的近臣。隋煬帝楊廣對虞世基十分信任，言聽計從，虞世基因而獨專大權，紅得發紫；虞世南也有條件紅起來的，但他卻堅持勤苦樸素，保持本色。兄弟倆同是父母所生，一個老師教的，同在一殿為臣，又住在一起，走的卻是完全不同的兩條路，最終的結果也是迥然不同。
虞世基幾乎把所用的才能都用來欺上瞞下，謀權求利。也就是遇上隋煬帝這樣的一個混蛋，他才得以逞其奸謀。隋煬帝是個變態的狂人，存心要和天地間一切打打別扭，他自己的內心也是嚴重扭曲的。他巡遊縱樂，花天酒地，一點也不在乎銀子和民力，卻對名位這玩意兒十分吝惜，“群臣當進職者，多令兼假而已，雖有闕員，留而不補”。這就給主管人事的吏部帶來了很大的麻煩。當時，吏部尚書是牛弘，他是個博學多才的人，也比較正直，但仍然不能做到盡職盡責，因為隋煬帝不許他盡職盡責。史載：“時牛弘為吏部尚書，不得專行其職，別敕納言蘇威、左翊衛大將軍宇文述、左驍衛大將軍張瑾、內史侍郎虞世基、禦史大夫裴蘊、黃門侍郎裴矩參掌選事，時人謂之‘選曹七貴’。雖七人同在坐，然與奪之筆，虞世基獨專之，受納賄賂，多者超越等倫，無者注色而已。”
虞世基這樣選拔官吏，隋朝的吏治情況便急轉直下。隋文帝楊堅曾以自身節儉的榜樣和嚴厲的誅殺懲治相結合，使吏治為之一清；虞世基受賄賣官又毀了這一大好局麵。虞世基倒是發了財，“妻子被服於王室。”
虞世基、裴蘊、裴矩之流通過諂媚阿諛隋煬帝而得寵，又隔絕下言，讓隋煬帝始終處在盲目自大的狂熱狀態中。隋煬帝也能寫幾句文章，和虞世基還有一層文友關係，知心的話兒倒不少。隋煬帝曾對虞世基說：“我性不喜人諫，若位望通顯而諫以求名者，彌不可耐。至於卑賤之士，雖少寬假，然卒不置之地上。汝其知之！”虞世基自然心領神會，以後就報喜不報憂，專揀好聽的說。
由於隋煬帝橫征暴斂、窮兵黷武，加之水旱災害，山東河北一帶爆發了農民起義。大業七年，王薄在山東長白山首先舉義。之後，孫安祖、張金稱、高士達也紛紛起義。各起義軍占山阻河，保據深險，每支都發展到數萬至十幾萬人。大業九年，楊玄感兵變，引發了更多的農民起義軍。大業十二年前後，中原大地形成了李密、竇建德和杜伏威三個強大的軍事集團，李密占據河南，竇建德橫掃河北，杜伏威轉戰淮南，逼近江都。但耽於淫樂，又被權臣蒙蔽的隋煬帝對此並不知情，還以為是小股賊盜作亂。大業十二年，“帝問侍臣盜賊，左翊衛大將軍宇文述曰：‘漸少’。帝曰：‘比從來少幾何？’對曰：‘不能什一’。納言蘇威引身隱柱，帝呼前問之，對曰：‘臣非所司，不委多少，但患漸近。’帝曰：‘何謂也？’威曰：‘他日賊據長白山，今近在汜水。且往日租賦丁役，今皆何在！豈非其人皆化為盜乎！比見奏賊皆不以實，遂使失於支計，不時剪除。又昔在雁門，許罷征遼，今複征發，賊何由息！’帝不悅而罷。”蘇威作為一個天良未喪的人，在一堆昏君佞臣之間，本想緘默自保也做不到，隻好實話實說，得罪了隋煬帝和佞臣們，被他們借事找碴，鑄成冤獄，還差點兒殺了頭。
虞世基也是奸佞群臣中主要的一員。隋軍諸將和郡縣寫來的求救信和不利戰報，他都做了改動，不把實情報上去，還給隋煬帝說：“鼠竊狗盜，郡縣捕逐，行當殄滅，願陛下勿以為懷！”隋煬帝也認為事情就是如此，是送信的使者胡說八道，打一頓棍子趕了出去。
隋軍喪師失地，郡縣失守，隋煬帝都不知道。隋將楊義臣擊敗起義軍一部，十多萬人投降，寫表告捷，隋煬帝才說：“我初不聞，賊頓如此，義臣降賊何多也！”虞世基一看要露馬腳，馬上接過話頭說：“小竊雖多，未足為慮，義臣克之，擁兵不少，久在外，此最非宜。”反而將楊義臣倒打一釘耙。昏的隋煬帝居然認為虞世基說的有理，立即下令召回楊義臣，遣散其兵，河北起義軍由此複盛。
虞世基短短數言便飾己之非還捎帶著害人，為非作歹的水平相當高。史載：“世基容貌審沉，言多合意，特為帝所親愛，朝臣無與為比；親黨憑之，鬻官賣獄，賄賂公行，其門如市。由是朝野共疾怨之。”封德彝也依托虞世基，出了不少壞主意。群臣上表有不符合隋煬帝心願的，都壓下不報；判獄的時候，一個勁兒地往重的整；對下論功行賞時，則想方設法地削弱減少。尤其是對實話一律封殺，有說實話的一律設計陷害。大業十三年即義寧元年，李密占據興洛倉、回洛倉，猛攻洛陽，東都危在旦夕。越王楊侗派太常丞元善達化裝間行，穿過瓦崗軍防區，跑到江都報告說：“李密有眾百萬，圍逼東都，據洛口倉，城內無食。若陛下速還，烏合必散；不然者，東都決沒。”說完就泣不成聲。隋煬帝也被感動了。這時虞世基站出來說：“越王年少，此輩誑之。若如所言，善達何緣來至！”於是，隋煬帝勃然大怒：“善達小人，敢廷辱我！”便讓元善達又一次穿過起義軍占領的地區，向東陽催運糧草。元善達這一次再也不能“善達”了，被起義軍捉住殺了。