滅陳後，楊素以功封越國公。後又為尚書右仆射，與高同掌國政。仁壽元年（601年），代高為尚書左仆射，專掌國政。
當時太子楊勇失愛於獨孤皇後，楊勇之弟晉王楊廣伺機謀取太子之位。楊廣“性敏慧，沈深嚴重”，素懷野心。他早就覬覦太子之位，夢想登九五之尊。看到楊勇失寵，楊廣“彌自矯飾”，想方設法博取文帝和獨孤皇後的好感。他“惟與蕭妃居處，後庭有子皆不育，後由是數稱廣賢。大臣用事者，廣皆傾心與交。上及後每遣左右至廣所，無貴賤，廣必與蕭妃迎門接引，為設美饌，申以厚禮；婢仆往來者，無不稱其仁孝。上與後嚐幸其第，廣悉屏匿美姬於別室，惟留老醜者，衣以縵糸采，給事左右；屏帳改用縑素；故絕樂器之弦，不令拂去塵埃。上見之，以為不好聲色，還宮，以語侍臣，意甚喜，侍臣皆稱慶，由是愛之特異諸子”。為了謀取太子之位，楊廣還在獨孤皇後麵前進楊勇的讒言，甚至說楊勇要殺害他。獨孤皇後由此對楊勇更為不滿。但是廢長立少乃冒天下之大不韙之事，楊勇雖失寵，帝、後亦不欲輕行廢立之計，而大臣們更是無人敢提此議。
楊廣急不可耐，問計於他的親信安州總管宇文述。宇文述說：“皇太子失愛已久，令德不聞於天下。大王仁孝著稱，才能蓋世，數經將領，頻有大功；主上之與內宮，鹹所鍾愛，四海之望，實歸大王。然廢立者國家大事，處人父子骨肉之間，誠未易謀也。然能移主上意者，惟楊素耳。素所與謀者惟其弟約。述雅知約，請朝京師，與約相見，共圖之”。
楊約，為楊素異母弟。少兒時，曾登樹墜地，生殖器官被樹杈所傷，後來便做了宦官。文帝受禪，授約長秋卿。後官至邵州刺史、宗正少卿、大理少卿，頗見信任。楊約“性如沉靜，內多譎詐”。楊素“凡有所為，必先籌於約而後行之”。所以宇文述建議通過楊約來說服楊素。楊廣欣然同意。宇文述受楊廣之遣以大量金寶賄賂楊約，並轉達楊廣之意說：“夫守正履道，固人臣之常致，反經台義，亦達者之令圖。自古賢人君子，莫不與時消息，以避禍患。公之兄弟，功名蓋世，當塗用事，有年歲矣。朝臣為足下家所屈辱者，可勝數哉！又儲宮以所欲不行，每切齒於執政。公雖自結於人主，而欲危公者，固亦多矣。主上一旦棄群臣，公亦何以取庇？今皇太子失愛於皇後，主上素有廢黜之心，此公所知也。今若請立晉王，在賢兄之口耳。誠能因此時建大功，斯則去累卵之危，成太山之安也。”楊約亦以為然。
楊約隨即將楊廣之意及自己的想法告訴給楊素，楊素聽後非常高興，他以恍然大悟的神態將手一拍，說道：“我的智慧思慮怎麼沒有及此？這多虧你的提醒和啟發！”自私心和權力欲促使楊素當即接受了楊廣之托，並馬上著手實施這一廢勇立廣的陰謀。至於這樣做會給國家社稷帶來什麼影響，楊素則根本沒有去想。
數日後，楊素入宮侍宴。他首先試探獨孤皇後之意，說：“晉王孝悌恭儉，很像皇上至尊。”此語立即在獨孤皇後心中激起了強烈的反應，她哭著說：“公所言甚是，我兒晉王，最為孝愛，每聞皇上及我所遣的內使到，必遠出迎接。而一談到與我們的離別之情，又未嚐不泣。而且他的新婦也很可愛，我的婢使去，她常與之同寢共食，哪裏像硯地伐（楊勇小字）與阿雲那樣終日對坐酣宴，親昵小人，疑阻骨肉！我所以更加憐愛阿麼（楊廣小字），就是因為經常擔心他被硯地伐暗害。”
楊素見獨孤皇後如此偏愛楊廣、厭惡楊勇，便趁勢火上澆油，大講楊勇的壞話，“盛言太子不才”，獨孤皇後因而對楊勇更為忿恨，於是她決心廢黜太子。為了遂此心願，她又贈送了楊素金銀，希望他讚助皇上早行廢立。
楊勇了解到他們的陰謀，十分憂懼，但又計無所出。為此，他曾使方士施行詛咒之術，希冀以此得到保佑。又在後園作“庶人村”，室屋卑陋，時常於其中休息，布衣草縟，“冀以當之”。文帝知楊勇內心不安，便派楊素前去觀察他的所作所為。楊素至東宮，故意遲遲不入，楊勇束帶等候，見素久不至，不禁憤怒形於言表。楊素歸而報告文帝說：“楊勇心懷怨望，恐有他變，願陛下深加提防，注意探察。”這無疑是誣告楊勇有不軌謀變之跡，其用心十分毒辣。文帝性多猜忌，聽到楊素對太子的潛毀，“甚疑之”，後又派人窺伺東宮情形，纖芥之事皆子奏聞。又於玄武門到至德門之間設置人員，“以伺動靜，皆隨事奏聞”，還將太子衛府中的勇健者悉皆裁去。