越恐懼越需要刺激，享樂就成了最佳的安魂劑。同年十一月二十一日，楊廣下令掘長塹後的第17天，他又下令在洛陽營建東都。4個月後即大業元年（605年）三月十七日再下詔，每月征調夫役200萬人，在東都大修宮殿，征發大江以南、五嶺以北的奇材異石，全國的佳木芳草、珍禽奇獸輸送到洛陽充實園苑。另在洛陽西麵築西苑，周圍200裏，苑內有海，周長10多裏，海中造蓬萊、方丈、瀛洲三座仙山，山上建台觀殿閣，仿佛仙境；海北修龍鱗渠，迤邐流入海內，沿渠作十六院，門都正對水渠，每院以四品夫人一名掌管。堂殿樓觀，窮極華麗，宮樹秋冬凋落，剪彩絹成花葉，綴滿樹上，顏色壞了則即時更換新的，使四季如春。與此同時，又前後征發河南、淮北各郡百餘萬人開通濟渠、邗溝，使水運能從長安直達江都（今江蘇揚州），另沿渠置離官40餘所，江都宮尤其壯麗。
楊廣在即位不到1年的時間裏，便同時調遣幾百萬民工服役，如果這些勞力分別來自全國各地，這樣的勞役即使深重，民眾也還能勉強忍受，可現在是這些勞役主要集中在山東、河南、淮南諸郡，就使得以上地區民眾無法承受。而且，掘長塹、營東都、修通濟渠、邗溝，工程期限都十分緊迫，幾個月內便得完工，官吏督役嚴峻急切，十之四五役丁悲慘死去，裝運屍體的車輛相望於路，絡繹不絕。這樣，楊廣在幾個月內，就置民眾於水火，而這還僅僅是開始，接踵而來的遊樂與耀武，更把全國百姓逼至絕境。
大業元年（605年）秋，洛陽至江都的水路全部貫通，八月十五日，楊廣率後宮、諸王、公主、百官、僧、尼、道士以及侍從警衛計20萬人，從洛陽乘龍舟去江都，大小船隻相接達200餘裏，兩岸騎兵護衛，一路浩浩蕩蕩，旌旗蔽野。所過州縣，五百裏內皆令獻食，有的一州竟獻至百車，全是水陸珍奇，後宮吃不了，臨行時挖坑埋掉，多少民脂民膏，就被如此糟蹋了。從這開始，楊廣每年外出遊幸，所到之處，窮奢極欲，暴殄天物，史無前例。楊廣四處遊玩，縱情聲色，使他肉體享受到無比的快樂，但靈魂照樣空虛，於是他又發動戰爭，炫示武力，妄圖用武功來求得精神上的滿足。
大業四年（608年）元月，詔發河北民工百萬修永濟渠，自黃河北通涿郡（治薊縣，今北京西南），運送軍隊及軍需物資用以攻打高麗。男丁不足，乃以婦女充役。大業七年（611年），楊廣自江都乘龍舟抵達涿郡，下令征天下兵，無論遠近到涿郡集結，於是全國四麵八方到處是奔走的人流。又令在東萊（今山東掖縣）海口趕造戰船300艘，官吏督工嚴急，工匠日夜站立水中，不得稍許休息，腰部以下都腐爛生蛆，死亡十之三四。再令河南、淮南、江南造軍用車5萬輛送高陽（今河北高陽縣），供載衣甲幕帳用，讓兵士拉車。與此同時，發河北、河南民夫運送軍需，發江淮以南民夫及船運米至涿郡，舳艫相次達千餘裏，來往在路上運載武器裝備的經常達幾十萬人，晝夜不絕，累死的民夫一個挨一個陳屍路旁，臭穢熏天。山東郡縣百姓負擔尤其沉重，民夫運米，自備車牛，一去就回不來，役夫大半死亡，田土無人耕種，大多棄置荒蕪，加上饑饉，穀價飛漲，鬥米至數百錢。
在這樣的亂世，魏征寧肯躬耕於壟畝，也不去做隋朝的官，政治上失意是必然的。所幸家中留有一份田產，隻需付出一定的勞動，便無凍餒之虞。尤為可喜的是，世代書香的家庭還保存了豐富的圖書典籍，更是完成學識的奠基不可缺少的。魏征同許多鄉間知識分子一樣，在耕耘之餘，勤奮攻讀。他喜愛讀書，又好求甚解，不僅熟讀儒家經典和諸子百家之說，研究曆朝興衰得失，而且能夠融會貫通，從中汲取有益的養分，逐步形成自己的見解。後來他輔佐唐太宗開創“貞觀之治”時所闡發的極富特色的施政方針、理論思想和治國措施，有許多是在這一時期發端的；卓越的史才和文才，也是在這一時期孕育的。他於落魄中自強不息，發奮攻讀，把自己造就成為一個博通經史、才華出眾的碩學宏儒。