與此同時，楊廣又私賂東宮幸臣姬威，令其伺太子動靜，密告楊素。“於是內外喧謗，過失日聞”。楊廣還使人威脅姬威說：
“東宮過失，主上皆知之矣。已奉密詔，定當廢立；君能告之，則大富貴。”於是姬威便上書誣告楊勇。這樣，終於誣飾以成太子之罪。
開皇二十年（600年）九月某日，文帝禦大興殿，執太子左庶子唐令則等數人付所司鞠訊；命楊素向近臣陳述東宮事狀。楊素高聲說道：“臣奉敕向京，令皇太子檢校劉居士餘黨。太子奉詔，作色奮厲，骨肉飛騰，語臣雲：‘居士黨盡伏法，遣我何處窮討爾！作右仆射，委寄不輕，自檢校之，何關我事！’又雲：‘昔大事不遂，我先被誅，今作天子，竟乃令我不如諸弟，一事以上，不得自遂！’因長歎回視雲：‘我大覺身妨。’”
文帝不僅性多猜忌，而且一向專橫苛刻，容不得他人對自己有任何一點怨望和指責，為此曾有不少大臣因進諫不慎而被杖死或鞭死於朝堂之上。楊素所言，看似瑣屑，但這都足以激起文帝的憤怒，因而，他剛聽完楊素的陳述，便馬上斷然作出了“此兒不堪嗣久矣”的結論，並表示悔不該沒早聽獨孤皇後勸其廢黜楊勇之言。最後，他提出：“我雖德慚堯、舜，終不以百姓付不肖子！我恒畏其加害，如防大敵；今欲廢之以安天下！”盡管也有大臣勸諫，但文帝全然不聽，並隨後收禁了楊勇、楊勇諸子及其部分“黨與”。
十月某日，文帝戎服陳兵，禦於武德殿，召集百官諸親，引楊勇及其諸子列於殿庭。命人宣詔，正式廢黜楊勇的太子之位及其子女的王、公主封號。楊勇再拜而言道：“臣當伏屍都市，為將來鑒戒；幸蒙哀憐，得全性命。”言畢，“泣下流襟，既而舞蹈而去”。見此情形，諸臣莫不為之同情和憐憫。文帝盡管忌刻成性，畢竟尚有舐犢之情，因而也不禁為之動容，感到一陣心酸。
看到文帝的神情變化，楊素又大聲進言道：“俗語雲：‘蝮蛇螫手，壯士斷腕。’廢黜太子，實同去一蝮蛇，陛下不宜再留意於他！”楊素為謀私利，千方百計離間父子骨肉之親，至此又以蝮蛇為喻，必欲文帝父子恩斷情絕，實乃太甚，其心之狠毒可知。
楊勇被廢後，太子之位自然是非楊廣莫屬了。楊廣喜不自勝，楊素也心滿意足，二人彈冠相慶。廢勇立廣，這是隋朝政治生活中的一個重大事件。後來的曆史事實證明，楊廣是一個典型的淫暴之君。隋的短祚與楊廣是分不開的。而楊廣之得立，又是楊素極力促成的，因而從這個意義上說，楊素是加速隋朝滅亡的重要人物之一。隻此廢勇立廣一事，便足以抵銷他的所有戰功。楊勇賢能與否，當然尚缺少曆史的檢驗，但據史書的一些記載來看，他顯然強於楊廣。據當時經常接觸楊勇的太幹洗馬李綱的看法，“太子性本中人，可與為善，可與為惡”。如果“擇正人輔之，足以嗣守鴻基”。因而李綱過去雖然諫責過楊勇的過失，但當文帝決定廢黜楊勇之時，他卻持堅決反對的態度。李綱對楊勇的評價應該說是比較客觀的。《資治通鑒》謂“勇性寬厚，率意任情，無矯飾之行”，這方麵恰與楊廣相反。另外，楊勇對軍國政事也有一定見解，“初，上使太子勇參決軍國政事，時有損益，上皆納之”。後來，楊勇雖不為文帝、獨孤皇後所喜，被楊素“舞文巧詆，鍛煉以成獄”，但實際上也並未能列出什麼明顯的劣跡。正因為廢非其罪，故楊勇被囚於東宮後“頻請見上申冤”。由於楊廣“遏之不得聞”，勇於是升樹大叫，聲聞帝所，“冀得引見”。而“楊素因言勇情誌錯亂，為癲鬼所著，不可複收。帝以為然，卒不得見。由於楊素的阻撓，楊勇終於冤沉海底。後人不能不為楊勇和隋朝的命運歎息。