鑒於秦漢的宰相製度容易造成權臣專權，從而架空皇權，也避免自己的故事重演，楊堅幹脆不設宰相，而是把宰相的職權一分為三，分別給予內史、門下、尚書三省，號稱三權分立。其中內史省是中央的決策機構，負責起草和頒布皇帝的詔令，長官稱內史令；門下省是中央的審議機構，負責審察政令，駁正違失長官稱納言；尚書省是中央執行機構，負責執行全國的政令，長官稱尚書令。三省互相獨立，又互相牽製，共同擔負丞相的職責，共同定令立法，參決軍國大政，以避免丞相權力過大而危及皇權。楊堅則高高在上，遙控指揮，分母越大越安全，這樣就避免一人之下，萬人之上某位權臣再次獨霸朝綱，而皇帝的權力得到空前加強。
其中我們最熟悉和常見的是尚書省，也是最有權力的部門，尚書省下設吏、民、禮、兵、刑、工六部。每部設尚書，總管本部政務。具體辦事機構就是這是六部：吏部，掌管全國官吏的任免、考核、升降和調動；民部，掌管全國的土地、戶籍以及賦稅、財政收支；禮部，掌管祭祀、禮儀和對外交往；兵部，掌管全國武官的選拔，和兵籍、軍械等；刑部，掌管全國的刑律、斷獄；工部，掌管各種工程、工匠、水利、交通等。開始的時候，六部叫做六曹，即6個辦事機構。六部的長官為尚書。六部的設置成為後代封建國家中央政權的固定製度。三省六部製分工明確，組織嚴密，加強中央集權。
南北朝以來，由於地方郡縣設置過多，形成了“民少官多，十羊九牧”的局麵。隋初沿北齊、北周製設州、郡、縣三級地方機構。鑒於魏晉南北朝政區劃分毫無標準，地方行政混亂，支出龐大，開皇三年，楊堅聽從河南道行台兵尚書楊尚希的“存要去閑、並大去小”的建議，由原來的州、郡、縣三級製，變成了州、縣兩級製，廢除郡這一級，撤郡500多個，並且合並了不少州縣，裁減了大批官員。這種對地方行政機構大刀闊斧地精簡，節省了財政開支，提高了行政效率，加強了中央對地方的直接管轄。誠如學者錢穆所言：開皇之治的成功，簡化地方行政機構是一個基本因素。據統計隋初中央政府開支減省三分之二，地方政府之開支減省四分之三，全國於行政之經費，僅及南北朝時代開支三分一而已。故隋國庫之豐積，不無原因。
楊堅是隴西世家，當地的名門望族，他深知強龍難壓地頭蛇，以前的地方官員多出自於本地的大族，形成一個個地方小勢力和小圈子，致使中央的力量很難滲入。因此他廢除了地方官就地自聘臣屬的製度，所用之人，必須是外州縣者，凡本地人一律不得任用，這就是回避製度的起源。同時還規定凡九品以上的地方官吏，一律由中央的吏部任免，把人事大權牢牢抓在朝廷的手中。還明確幹部任期，州縣官員要3年一換，不得連任。
在治國的實際中，楊堅逐漸認識到，當今天下什麼最珍貴，那就是人才，製度再好也需要有合格的人才才能實施好，一個朝代之所以崛起和興盛，其根本原因就是有一批傑出的人才，而亡國之君和衰微朝代則恰恰是人才缺失所造成的。縱觀中國曆史長河，對於人才的選拔可謂林林總總，原始社會時期，是依靠民選，專製政權出現後變成為世襲製；春秋戰國時代，則有多了一條毛遂自薦的道路；秦代命短，雖然由皇帝親自選拔官吏，但沒有形成製度；漢代時實行察舉製度，由各地官員負責選拔人才，並在中央成立太學院，可以說部分地擴大了人才的範圍，政府不再是貴族政府，而成為“士人”政府，湧現出一批傑出的學者型幹部。三國時代創設的“九品中正製”也是漢代察舉製度的翻版，但這種製度最大的弊端是缺乏一個公正客觀的硬性標準，僅僅依賴於選舉官的主觀判斷和愛好取舍，日久生弊，物以類聚，人以群分，九品中正製逐漸培養出了一批特權階層的門閥士族，使得上品無寒門，下品無士族，人才的選拔轉了一圈又回到了起點，徒有選拔之名，實為世襲之事。進入南北朝後，這種製度仍然盛行，做官要憑門第，朝中無人莫做官，使得有才之人無官坐，無才之人占朝廷，其產生的最大惡果就是集團勢力的膨脹，嚴重威脅著皇權的地位。
楊堅就是依靠這個製度上來的。因此，作為當事人，他非常清楚這項製度的危害性。於是，楊堅決定用一種新的製度來選拔官吏，那就是考試。楊堅規定每州每年要推薦有才學的貢士3人，推薦的標準是文章華美，並需經過特別考試。凡是京官五品以上、地方官總管刺史，要德、才兼備。這種製度在當時是具有進步性的。這樣選拔人才，一來可以打破士族壟斷，使各個階層有才華的人都有機會為政府效力；二來有了硬性的標準可以遵循，選拔人才就不會因為主觀好惡而有所偏差，這項製度後來演化為科舉製度，而楊堅無疑是該製度的鼻祖和創始人。楊堅開創建立的科舉製度，在中國曆史上留存長達1300多年，直到清朝末期才廢除，但“牆內開花牆外香”，當時的美英等國，不約而同地借鑒了這種選拔製度，作為政府文員的聘用方法。
在對官吏實行製度考核後，楊堅又開始考慮法律的製定和修改，要知道依法治國必須有一套完備的法典作為基礎。中國的法律製度自從秦朝製定了殘酷而又苛刻的刑律之後，曆代承襲，直到魏晉南北朝時期，都是一脈相承。楊堅的舊主子北周周宣帝頒布的《刑經聖製》，用法更加殘酷，簡直拿人不當人，動不動就梟首、車裂、宮刑、鞭打，搞得人心惶惶。楊堅上台後，立即廢除了這套“聖經”，本著“以輕代重，化死為生”的指導原則，製定了對後世法律影響深遠的《開皇律》，全律分為12篇，其名為：名例律、衛禁律、職製律、戶婚律、廄庫律、擅興律、賊盜律、鬥訟律、詐偽律、雜律、捕亡律、斷獄律。《開皇律》定罪隻500條，死刑隻分絞、斬二種，流放服刑不超過5年；杖刑分60至100共五等，不僅廢除了孥戮、連坐等禍及無辜的作法，還廢除了死罪81條，流罪154條，徒、杖等罪千餘條。
楊堅在實際工作中認識到，法律工作的關鍵還是人的素質，為了讓法律能夠真正地運用和普及，楊堅高舉“普法”大旗，要求上至官員下至士兵，，必須學法用法知法守法，並要參加律法知識基礎考試。所以終隋朝一代，官吏大都明律，即使有犯事的，但決沒有因不懂法而獲罪的。這就是隋末，各地饑民嗷嗷待哺時，各地官員雖然知道國庫中糧食堆積如山，卻不敢挪用絲毫的根源所在。
而更難得的是，楊堅又從百姓角度出發，認為平民一年四季，耕作勞苦，讀書不多，很難知禮知法，而普法工作又很難落到實處，因此平民犯罪可以從寬，也就是不知者不罪，而且其中有冤可以逐級上訴，直至皇帝親自處理，這項規定是以前各代所沒有的。清初著名思想家王夫之對這部法律大加讚賞：“今之律，其大略皆隋裴政之所定也。（裴）政之澤遠矣，千餘年間，非無暴君酷吏，而不能逞其淫虐者，法定故也”。
南北朝時期，皇權的最大隱患就是對軍隊的控製。楊堅深諳此道，因此著重對軍隊編製進行了大規模的改革，除了派自己的兒子和心腹執掌各地兵權外，還對改組了舊有的府兵製。三國兩晉時期實行的是世兵製，顧名思義，就是世代為兵的意思，其特點是士兵以戰爭作為唯一職業，做到專業化、技術化、終身化，隻管打仗不管生產，這使得要維持一支像樣的常備軍必須消耗大量人力物力。因此，北周時創立了府兵製，號召戰時從兵，平時務農，農閑集訓。府兵製寓兵於農，自立軍籍，不編入民籍，不屬州縣，可以隨時調發，這顯然比完全依靠軍餉為生的世兵製有節省開支的優點，但北周的兵源大都是廣募豪右而來，名為國家軍隊，實則為地方豪右控製的地主武裝鄉兵，是地方武裝的合集，與中央不是一條心，因此中央統一調度支配頗多阻礙。
針對這種局麵，隋文帝楊堅規定軍人和家屬都隸屬於州縣，給予戶口和土地，從而把兵源從地主手中解放出來。同時，軍人本身仍舊保留軍籍，直接歸軍府統領，給予雙籍待遇。全國設立12個衛所，各衛置大將軍，為府兵的最高將領，總統於皇帝一人。凡出兵征防須由朝廷命將統率，調遣時必須持兵部所下之魚符，經州刺史和折衝府將領勘合後，才得發兵。戰爭結束則兵散於府，將歸於朝。這樣，將帥就不能擁兵自重。