時間一的過去，楊廣即位已經到了第二年，蔡夫人的離去讓楊廣的心裏曾經有過一種莫名的難過，緊接著，陳夫人也因為一場惡疾病故，楊廣以陳夫人惡疾怕傳染為由，將陳夫人的寢宮的門鎖住，一把大火將侍候過陳夫人的太監宮女全部燒死在裏麵，晚上宮人走過原陳夫人的寢宮廢墟時，總會聽見裏麵有女子哭泣的聲音，就是楊廣晚上在別處寢宮歇息時也宗聽到女子哭泣之聲，為防鬼魂作祟，從全國請了數十名有名的道士和尚做法超度，又命禮部安排了對陳蔡二位夫人的祭祀後心裏稍微平複了些，經曆了這些事情之後，楊廣的性格變得更加陰沉喜怒無常，連原先後宮最得寵的蕭皇後除了正式的朝見外，楊廣也不在皇後寢宮過夜，時常一個人呆在寢宮，皇帝雖然已經有了三位皇子，兩位公主，可是作為皇帝，子嗣越多，皇權越穩，在蕭皇後的主持下，全國各地進獻的美女源源不斷的送入到了宮中，在這些美女的簇擁下，楊廣的臉色才慢慢的好轉。但奢靡之風日進一日。有美女自然少不了歌舞，宮廷中的歌舞教坊每樂聲不斷，楊廣還不滿足，下旨太常寺卿高熲招集原北齊、北周時期流落民間的樂工和民間的散樂。高熲想起楊廣以前做太子、為藩王時那種恭謹簡樸的模樣，本著對楊廣一片忠心的心思向楊廣勸諫：
“陛下，原來的北齊、北周的樂工好召集，但前朝的樂曲都是亡國之音，廢弛已久，如果再次召集演奏，恐怕於我朝社稷不利啊！”楊廣對高熲本來就沒有什麼好感，即位之初啟用高熲就是因為想讓楊素有所顧忌，也是自古新君即位鞏固皇權的一種手段，如今楊素已經死了，高熲的門麵作用可有可無，還如此不識抬舉，當年太子之爭的舊怨又湧上了心頭。
“高熲，你身為太常寺正卿，理應做好自己的事情，怎麼，你以為你還是宰相嗎？”高熲聽到這話，感覺身後一股涼氣直往外冒。趕快俯下身子想楊廣請罪。
“陛下，臣失言了。請陛下恕罪！”看著高熲服下身子有些發抖，楊廣的怒氣稍微減少了些。
“行了，這件事情交由你去辦，就當贖自己的罪了。”高熲還想拒絕，可看到楊廣的臉色，隻好磕頭謝恩，回到太常寺。叫來屬下官吏，傳達了皇帝的聖旨，太常寺丞李懿對高熲道：
“老相爺，如今民間百姓生活艱難，皇上還如此奢靡，您應該勸諫皇上多以百姓為重啊！”高熲痛苦的道。
“北周時期，周宣帝喜好音樂，宮中歌舞不斷，結果滅亡，這前朝故事沒過多久，現在看來曆史馬上要重演了。”手下的下屬官吏都搖著頭歎息著出去了。雖然美女在懷，雅樂入耳，但楊廣從來不是宅男性格，他的心裏仍然還是裝著功業。在運河還沒有完工，而邊關又傳過來突厥的達頭部落對長城時有襲擾，雖然依靠地勢之利守住了關隘，但有些地方年代太過久遠，城牆已經坍塌，不利於禦敵，楊廣下令，再調集大批民夫前往西部與北部邊關重新修建長城，百官中有人勸楊廣運河還未完工，如果再修長城，恐怕會重蹈秦始皇使用民力不當的錯誤而滅亡，希望楊廣開通大運河後再等三五十年再修長城。楊廣大怒，怒斥百官：
“秦朝滅亡並非時使用民力不當，實是秦太監趙高弄權，逼死太子扶蘇，扶立胡亥所致，朕在即位之初便已經立長子楊昭為太子，楊昭聰敏好學，有君子之風，深肖朕恭，日後比為我朝一代明主，另外運河修好之後再等三五十年，那我大隋子民又會被那突厥蠻夷擄掠多少，兒等隻圖眼前利益，不顧百姓死活，好似為國為民，實為自己的清譽。”楊廣越越氣。在太子楊昭和皇後的勸慰下才慢慢安撫了自己的情緒。裴矩上前向楊廣啟奏道：
“啟奏聖上，聖上所慮甚是，但古話的好——敵人的敵人就是我們的朋友，臣聽聞在我西部邊關，達頭部與吐穀渾多有衝突，臣請出使西域，拉攏吐穀渾為我大隋所用，即便吐穀渾沒有打敗達頭，我們也可乘虛將河西故土重新歸於我大隋治下。”楊廣聽到裴矩的奏議笑在心頭。