隨著封賞晚會的勝利召開，關隴集團內部是越來越穩定了，但封賞晚會也造成了南陳門閥士族的離心，因為他們沒有得到預期的利益。
南陳之所以會迅速滅亡，並不是因為隋軍是多麼的強大，而是對於作為社會中堅的門閥士族來說，陳叔寶當皇帝也是當，楊堅當皇帝也是當，隻要自己的利益不受損，哪怕找個叫花子當皇帝他們都沒有意見。可是，楊堅卻不知什麼原因極力排斥江南士族入朝為官，整個晚會就丟給了他們幾個根本不入流的小官，一點實質權利都沒有。
江南士族們不願意了，這算怎麼回事啊。根據曆來傳統，不管是哪個皇帝上台，對於當地的門閥士族都是會重用的，這是作為士族社會一個很顯著的特點。而楊堅不重用也就算了，還極力打壓。不管在政治上還是經濟上，甚至是在宗教上，楊堅總是與江南士族們過不去，終於，真正掌控江南的門閥士族們明白過來了：這是楊堅要徹底吃掉我們，畢竟不是一個媽生的呀，我們永遠也不可能像關隴集團那樣滲入統治集團的內部，但是，我們要讓楊堅知道，江南士族有著不亞於關隴集團的實力，不管是經濟上的，政治上的，還是軍事上的。江南，在風雨飄搖中積蓄著自身的力量。
而此時的揚州總管楊俊，並沒有采取及時有效的措施去壓製這種風潮，不是他隻顧吃喝享受忘記了鎮守揚州的職責，而是作為比楊廣還小兩歲的年輕人，淺薄的經驗讓他實在想不出什麼行之有效的好方法，而他的幕僚們也因沒有應對過此類突發事件、加之對江南的風土人情不甚熟悉，也無法為楊俊提供太好的建議。遠在長安的楊堅在收到楊俊關於江南局勢不穩的密報後也沒太往心裏去，南陳都打下來了，還怕那些個零星的反叛嗎？！終於，開皇十年（590）十一月，在距南陳滅亡才一年多一點的時間後，一場席卷南陳全境的反隋叛亂以星星燎原之勢迅速蔓延開來。
第一個舉起反隋大旗的是樂安（今浙江仙居仙）的蔡道人，我們無從查起蔡道人真實的名諱，但從史書的記載上可以看出，他是江南宗教勢力的代表。樂安位於天台山附近，有著深厚的宗教信仰基礎，可以說那個地區的人們大多是信仰宗教的，並且還比較狂熱，達到了為信仰獻身的地步。由於楊堅大力推行的佛教與江南當地宗教存在衝突，甚至是與江南地區存在已久的佛教教旨有著極大的不同，這就造成了廣大教民的反感，進而反抗。
隨著蔡道人的起兵，江南地區實力雄厚的門閥士族們也紛紛效尤，依靠強大的家族力量迅速招募了軍隊，或自稱天子，或自稱大都督，都先後打出了反抗隋朝****的大旗。其中，作為江南豪門的沈家更是下了血本，一家之中便出了沈玄檜、沈傑、沈雪、沈能、沈孝徹等五支武裝力量。此外，像顧、陸、朱、張等大家族中也都有人揭竿而起，甚至位於大山之中的一些少數民族部落首領也趁機標榜獨立，跟風似的加入到這場反隋的滾滾洪流之中。
江南的叛亂超出了楊堅的預期，他沒有想到滅亡後的南陳還存留如此巨大的民間力量，於是趕緊派富有鬥爭經驗的楊素領精兵十萬以揚州行軍總管的名義趕往江南鎮壓叛亂，同時，將晉王楊廣與秦王楊俊互調，令楊廣即日出發，趕赴江南任揚州總管。
得知這一消息的楊廣還是很高興的，畢竟沒有人願意在並州那樣的窮鄉僻壤呆一輩子，揚州，那可是繁華之地，更一個建功立業之地。晉王楊廣很快便收拾好了行李，與並州的大小官員吃了頓散夥飯後，便帶著自己的老婆孩子高高興興遠赴揚州上任去了。
雖說楊廣又回到了江南，但這次鎮壓反叛的主角並不是他，而是楊素，因為楊素才是江南區軍區司令（行軍總管），楊廣則是江南行省的省長（揚州總管），主要負責經濟民生之類的事情。
對於叛軍，楊素的手段簡單粗暴但是極為有效，那就是殺。此次進軍江南與前次不同，前次是為了消滅陳叔寶的南陳小朝廷，因此對於南陳俘虜是好生招待，能放的也就都放了，畢竟兩國交戰時收買人心是必須做的功課。但是這次不同，這次楊素要麵對的是一群反叛分子，對於他們，必須進行堅決有效地打擊，否則時日拖的越久，對自己越不利。楊素的眼光還是很不錯的