很快，楊暕的聲名便越來越爛了。
不少人便建議黃明遠上書天子彈劾楊暕，至少也不能讓他做的太過分，但卻被黃明遠拒絕。陸貞、陳遠等人不解，畢竟陸貞這裏有楊暕無數的罪狀，可謂是罄竹難書。
黃明遠說道：“天子雖然討厭楊暕，但畢竟是其唯一的嫡子，若無謀反等大罪，天子是不會處置楊暕的。我若是彈劾楊暕，反倒是讓天子以為我容不下他。”
在黃明遠看來，讓楊暕在天子與天下人麵前失分，本身就是打擊楊暕的一個方式。楊佶等人做的越好，楊暕錯誤越多，人心便會越清楚，雙方的地位便會逐漸易位，而勝利的天平也會落到楊佶這邊。
沒多久陸貞便向黃明遠稟報，楊暕又搞了一個大消息，與人通奸。
楊暕的妻子韋氏，是原民部尚書韋衝的女兒，較早去世。而韋衝是北周名將韋孝寬的親侄子，官拜民部尚書。
京兆韋氏，地位尊崇，是關隴世家漢人中最頂尖的門閥，有著“城南韋杜，去天尺五”的美譽。韋氏去世之後，楊暕沒有新娶妻，但是卻和韋氏的姐姐元氏婦攪和在了一起。二人私通，生下一個女兒，外人都不知道。楊暕暗中召引喬令則在府內設宴飲酒，喬令則為慶賀此事，甚至脫掉楊暕的帽子以助歡樂。楊暕又招來看相的人讓他遍視後庭，看相的人指著元氏婦說：“這個生孩子的婦人要做皇後，王爺您富貴不可言。”
楊暕大喜，於是更寵信元氏婦，而元氏婦在齊王府上，亦如當家主母一般。
楊廣這個人雖然驕奢淫逸，但是極其重聲譽，好麵子。一旦楊暕與人通奸的事情傳出，必會引得楊廣震怒。而且韋家地位崇高，為了身份、名譽，也會選擇與楊暕決裂。
在陸貞等人看來，這是扳倒楊暕最好的機會了。
黃明遠想了想，最終沒有選擇直接彈劾楊暕，而是讓人將此消息放出去，先在京中人家傳播。等到人所共知的時候，自然而然會傳到楊廣的耳朵裏。到時候楊廣想要捂住此事怕是也不可能了。
事依然要做，但不能是自己做。
雖然這些錯處對於楊暕來說都未必一擊致命，但日積月累，此消彼長，楊暕的太子夢怕是會落空了。