楊堅先指使人將與他平起平坐的宇文讚騙放棄權力，然後在還沒有公開宣帝的死訊時，借口召五王回長安，收繳了他們的兵權印符。五王氣憤之下，決定尋找直接刺殺楊堅的機會。有一次，趙王宇文招請楊堅去赴宴。他先在王府中埋伏下武士，對兩個兒子悄悄囑咐了幾句，楊堅帶著隨從來趙王府的時候，所帶隨從均被擋在外麵，隻有楊弘與元宵跟進去，並且隻準坐在門口。
趙王向楊堅又敬酒又夾菜，十分客氣。過了一會，趙王的兩個兒子捧著一盤甜瓜請楊堅吃，趙王解下佩刀，切開甜瓜，遞給楊堅，右手老攥著那把佩刀。元宵在門外見形勢不對勁，闖進屋對楊堅說：“還有許多事情等著丞相處理，請你趕快回去吧！”催楊堅趕快脫身，楊弘強行拉楊堅離開座位，趕快出門，趙王起身追了上來，後麵武士也跟了上來，元宵用身體擋住大門，不讓趙王出去，楊堅於是安全回到丞相府。
楊堅隨後就以謀反罪殺死宇文招、宇文道，其他三王也很快被除掉。宇文氏的勢力基本被消滅。然後，楊堅宣布廢除周宣帝時的嚴刑峻法，停止洛陽宮的營建，以此取得廣泛支持。這樣，楊堅在京師的統治已基本穩固。同時，楊堅又分別將地方上的軍閥尉遲迥、王謙、司馬消難等人的叛亂平定，升任隋王，並廢左、右丞相設置，隻設大丞相，不久改稱相國。為進一步削弱宇文氏的影響，廢除所有對漢人的賜姓，令其各複本姓，這一措施得到漢人的普遍擁護。
公元581年，楊堅派人為周靜帝寫好退位詔書，逼周靜帝退位，然後在百官的勸進下假意推辭，然後迫不及待地穿上了黃袍，登上皇帝的寶座。
任用賢能厲行改革
楊堅即位後，首先就是建立新的領導核心，雖然劉唏、鄭譯等人在楊堅控製朝政、並取周自代的過程中功勞不小，但這些人並不備具治理國家的才能，而且恃功自傲，說不定這些人還會再行廢立之事。因此，楊堅將這些人逐步疏遠、罷免彧殺頭，然後提拔了一批有才之人如高潁、虞慶則、李德林、韋世康、元暉、元岩、長孫毗、楊尚希、楊惠、楊素和、蘇威等人組成新的領導核心。隨後，楊堅便接受高潁等人的建議，采取了一係列改革措施。
北周的官製，由宇文泰仿《周禮》製定，既亂且濫。楊堅在參考秦、漢、魏、晉、南朝各朝官製設置的基礎上，總結經驗教訓，建立了三省六部製。所謂三省，包括中央的決策機構內史省，負責起草和頒布皇帝的詔令，頭子稱內史令；中央的審議機構門下省，負責審察政令，匡正扶危，頭子稱納言；中央執行機構尚書省，負責執行政令，頭子稱尚書令，二把手稱仆射。三省互相獨立，又互相牽製，共同執行秦漢時丞相的職責，以避免丞相權力過大而危及皇權。這一製度的建立大大削弱丞相的權力，使皇權得到加強。尚書省下設六部，即吏部、戶部、禮部、兵部、刑部、工部，分別負責官吏任免考核、戶口賦稅、禮儀、軍政、刑法、工程營建等方麵的事務。六部尚書分掌全國政務，這一製度從隋朝建立起，一直延續到清朝末年。
隋建國以前，地方官製極為混亂。580年，北周仍實行州、郡、縣三級製，“民少官多，十羊九牧”，造成極大的財政浪費。公元583年，楊堅把東漢以來的州、郡、縣三級製，改成州、縣兩級製(後來隋煬帝改州為郡，實行郡、縣兩級製)；變地方的三級製為兩級製。楊堅廢去郡這一級，撤郡五百餘，並且合並了不少州縣，裁汰了不少冗官。這種對地方行政機構大刀闊斧地精簡，節省了中央經費開支，緩解了人民負擔，提高了行政效率，有利於中央對地方的直接控製。兩級製也成為後世定式。
北周末年，地方勢力長期威脅中央政府。楊堅專權，也引起地方上的武裝反抗。隋朝以前，基本上是地方官就地自聘僚屬，就地征用的屬吏，基本上是本地豪強。這些人把持地方政權，貪汙腐敗，魚肉百姓，極易引起民憤，也不利於中央對地方的控製。楊堅下令規定，所有九品以上的地方官，必須由中央的吏部任免，州縣佐官要三年一換，不能連任，所用之人，必須是外州縣者，凡本地人一律不得征用。這樣，就把地方官用人之權全部收歸中央，州縣屬官回避本州縣，又防止了地方政權被當地豪強所把持。這些措施加強了中央對地方的控製。
楊堅還特別重視吏治，獎勵良吏，嚴懲奸吏。汝南大守公孫景茂任職期間廉明清正，注重生產，社會秩序井井有條，隋文帝將他提拔為道州刺吏，又將他的事跡頒告天下，供大家學習。楊堅還采取給田養廉的辦法，使官吏不搜刮民脂民膏，成為貪官汙吏。同時，楊堅采取嚴刑，重懲奸吏。他還經常派人偵察全國大小官吏的執政情況，發現罪狀便加以嚴懲。有時他秘密使人給官吏送去賄賂，一旦有官吏受賄，立即處以死刑。楊堅統治時期，大批良吏層出不窮，全國各地社會秩序井然，這與隋文帝這一套吏治手段是分不開的。