如今的局麵很微妙，楊廣要利用楊素平定楊涼的叛亂，楊素要利用楊廣穩定大隋江山為將來太子楊昭的平穩奪權打下堅實的基礎。
心思各異，目標卻一致——為了大隋的穩定。
楊素為了取信楊廣，獨自一人沒有攜帶任何兵器，宮門外求見：“左仆射楊素，奉旨見駕！”
楊素站在宮門外，麵色如常。
“宣------”
楊廣詔楊素回京其實沒有任何意義，隻是想試探一下他到底有沒有反心。
“臣楊素，拜見聖上！”
楊素一進金鑾殿的大門就一頭磕倒在地上。
楊素的態度非常恭順，這讓楊廣的心裏舒坦了不少。
“楊將軍辛苦了！”
“幸不辱命!”
“好----好----好----”
楊廣的心情看起來不錯，當庭任命楊素為並州道行軍總管河北安撫大使，率領幾萬人接著去討伐楊諒。
此時晉州、絳州、呂州州城都被楊諒派兵守住，楊素各派兩千人去牽製他們。
楊諒命令趙子開擁十餘萬之眾，占領了所有的道路，盤踞在高壁，擺開五十裏的戰陣。
楊素命令部將帶兵正麵對敵，自己則率領一支隊伍潛入霍山，沿著懸崖深穀前進，直搗叛軍老巢，一舉擊敗了他們，殺死殺傷的數以萬計。
楊諒所任命的介州刺史梁修羅駐守在介休，梁修羅聽楊素來了，非常害怕，棄城而逃。
楊素繼續前進，到達清源，離並州還有三十裏。
楊諒率領部將王世宗、趙子開、蕭摩訶等將近十萬人馬，前來迎戰。
楊素又打敗了他們，活捉了蕭摩訶。
楊諒退守並州，楊素進兵包圍並州，楊諒無計可施，非常窘迫，隻好投降，其餘黨羽也都一一鏟平。
煬帝派遣楊素的弟弟修武公楊約攜帶親筆詔書慰勞楊素，楊素見詔後也上表陳述了自己的謝意。
很快，楊素回到京城，跟隨煬帝駕臨洛陽。
煬帝任楊素為營建東京的大監。
因楊素平定楊諒有功，煬帝拜他的兒子萬石、仁行，侄子玄挺都為儀同三司，並賜給他們織物五萬段、綺羅一千匹，賜楊諒妓妾二十人。
楊涼戰亂平定之後不久，楊素私下拜見了清妃娘娘寧遠，不久寧妃娘娘終，年約二十九。
隋煬帝於大業元年(605)，升楊素為尚書令，賞賜給他東京上等府第一處，織物兩千段，不久又拜為太子太師，其他職務不變。