轉眼間楊廣已經是五歲了，不知道是什麼原因，楊廣長得遠比同齡的孩子高大，五歲的人看起來就像七八歲的樣子。與他大哥楊勇相比，人們都懷疑楊廣才是楊勇的長兄。而且現在的楊家已經不止他們兩個（他們的姐姐楊麗華已經嫁給當今太子宇文贇），僅僅幾年的功夫、楊廣已經多了四五個兄弟姐妹了，甚至還有未出世的、正呆在母親肚子裏的那個！對此，年紀還小的楊廣也並不介意！
北周建德三年五月十五日，這一天隋國公府上來了一位特殊的客人。說他特殊，不僅是因為他是楊堅的好友，他還對楊廣的一生起了很重要的作用。他就是當時有名的鄖國公韋孝寬。
說他有名，不僅他是北周傑出的軍事家、戰略家，幫助周武帝宇文邕滅掉北齊、統一北方，而且他還幫助楊堅平定了尉遲迥的叛亂，為楊堅能夠順利登上皇位、建立隋朝起到了很大的作用。
這一天，韋孝寬下朝以後，就順便來到楊堅的府上探望這位好久不見的朋友。進門以後，韋孝寬就看到楊堅急忙地來門口相迎。臨近以後，楊堅看到韋孝寬一臉的憂愁，就疑惑地問道：“韋兄，你怎麼一臉的憂愁啊？是不是朝堂上發生什麼事情了？”韋孝寬一臉憂愁的說道：“楊賢弟呀朝堂上出事了，出大事了！”楊堅疑惑地問道：“那所謂何事啊？”韋孝寬也不直接開門見山，而緩緩地說道：“楊賢弟，別著急呀，我們進屋再談。”楊堅也感覺此地說事不妥，就趕快伸出手說道：“也對，那我們進屋再談，韋兄請。”
這時候呆在房間裏的楊廣無意間聽到了侍女們都說家裏來客人了，還聽說楊堅竟然親自去迎，這無意中引起了楊廣的好奇。究竟是誰讓楊堅竟然舍身親自去門口迎，為了一探究竟，楊廣趁侍女們都離開的空當，偷偷地溜出房門，一路小跑來到了大堂。在來大堂的路上，楊廣聽到了他們的談話，並找了個角落藏了起來並偷聽他們對話。
進屋以後，楊堅安排韋孝寬坐好以後，立刻就有仆人奉上了茶水。等仆人走後，楊堅著急地問道：“韋兄，朝堂上究竟發生什麼事了，你可給賢弟說清楚點。”韋孝寬品了一口茶後說道：“賢弟，你這幾天因為生病沒來上朝，所以不知道朝堂上發生的事情。自從陛下從丞相手裏奪得權力以後，就開始為如何消滅北齊、統一北方做準備。這些賢弟可曾聽說？”
楊堅回答道：“這些，小弟略有耳聞。自從陛下主掌大權以來，實行的一係列政策都利國利民，這些小弟都有目共睹。不知兄長因為陛下的哪項政策而憂愁呢？”
韋孝寬直截了當地說道：“賢弟說得對，自從陛下掌權以來，確實實行了很多利國利民的政策。可是今天早朝陛下下詔‘禁佛、道二教，焚毀經書、佛像，並令和尚、道士還俗為民。’對於陛下的這道政令，韋兄深感不妥。”
聽了韋孝寬的這些話，楊堅大笑起來。韋孝寬看到楊堅如此這樣，疑惑地問道：“賢弟因何發笑？”楊堅回答道：“我笑韋兄思想太淺薄。不知韋兄可想過陛下下這條政令的好處？”
韋孝寬說道：“好處嘛，為兄也想過。可是想來想去，為兄就是想不明白，陛下下這道政令，就不怕引起佛、道二教的反叛嗎？”楊堅此時也停止了大笑，繼續說道：“韋兄，你太多慮了。陛下竟然敢下這道政令，就說明陛下已經做好如何預防因這道政令而帶來不利的措施，我們應該事事都順著陛下才好。”韋孝寬此時好像被楊堅說服了，也隨著楊堅說道：“看來真的是為兄多慮了。也罷，為兄就依賢弟的意見，不去想這件事了。”
楊堅與韋孝寬的談話無意間都被楊廣聽到了，於是楊廣心裏想到：韋孝寬呀韋孝寬，難怪楊堅說你思想淺薄，那還真是。誰都知道周武帝滅佛，可是利大於弊的。想到這裏，楊廣偷偷笑了起來。可是沒想到，他的偷笑聲竟然被屋裏的兩個人聽到了。
韋孝寬聽到了偷笑聲，就轉過身看了看楊堅，楊堅立刻就明白了，於是就對外麵大聲地嗬斥道：“是誰在外麵偷聽我們的談話，還不趕快出來。”躲在外麵的楊廣知道自己已經被發現了，本打算離開，可是經過很長時間的深思熟慮，楊廣於是放棄了這個念想，硬著頭皮、戰戰兢兢地走進了房中。