隋文帝即位後。對兵役製度作了重要改革，以加強對軍事的控製。同時，也對行政機構進行了一些改革。開皇元年（公元581年），楊堅登位不久，立即采納了大臣崔仲方的建議，廢除北周模仿《周禮》在中央設立的“六官”製度，“依漢魏之舊”建立中央機構。《隋書百官誌》說：高祖踐極，百度伊始，複廢周官，還依漢魏。唯以中書為內史、侍中為納言、自餘庶僚，頗有損益。皇帝是最高的主宰，握有軍政的絕對大權。輔佐皇帝處理全國軍政機要的主要有三省，即尚書省、內史省、門下省。三省長官都是宰相。隋代的尚書省地位很高，管理全國政務。《隋書百官誌》說：“尚書省，事無不總”。這句話說明了尚書省在中央最高行政機構中權力之大，地位之尊。當然，這並不是說尚書省包攬一切。
尚書省的總官署名叫尚書都省，置尚書令、左右仆射各1人，總領吏部、禮部、兵部、都官（開皇三年改刑部）、度支（開皇三年改民部）、工部等六部。六部長官是尚書，與尚書令、左右仆射合稱“八座”。吏部掌文官選授考課，吏部尚書統吏部侍郎2人，主爵侍郎1人，司勳侍郎2人，考功侍郎1人。禮部掌學校、禮樂。禮部尚書統禮部。祠部侍郎各1人，主客，膳部侍郎各2人。兵部掌軍籍輿馬，兵部尚書統兵部，職方侍郎各2人，駕部，庫部侍郎各1人。都官掌刑政司法，都官尚書統都官侍郎2人，刑部，比部侍郎1人，司門侍郎2人。度支掌財稅出納，度支尚書統領度支。戶部侍郎各2人，金部、倉部侍郎各1人。工部掌工程建造，工部尚書統工部。屯田侍郎各2人，虞部、水部侍郎各1人。六部共24曹36侍郎，分司曹務，直宿禁省。尚書省的長官為尚書令，實際上一般不授人，隋代隻有煬帝時的楊素因為有翊戴之功，又平定了漢王諒，方進位尚書令。但是煬帝對他“外表殊禮，內情甚薄”。他有病，煬帝雖然頻頻遣名醫賜藥，“然密問醫者，恒恐不死”。所以隋代尚書省長官實際上是左右仆射（從二品）。
其中左仆射判吏部，禮部，兵部，兼掌糾彈；右仆射判都官，度支，工部，兼知財政用度。仆射的屬官有左右丞各1人，都事8人。煬帝時把都事撥到六部去了，另增設左右司郎各一人來代替，他們就是唐代左右司郎中的前身。隋代尚書是一個機構完整的中樞政務部門，與前代大不相同。“侍郎”掌一“司”之事，與後代的“侍郎”不同。門下省在隋初是侍奉諫議機關，掌審查政令及封駁諸事。其長官有納言二人（正三品），它本是侍奉內廷，以備皇帝之顧問。《隋書柳機傳》載，柳機在文帝開皇年間為納言，“當近侍，無所損益，又好飲酒，不親細務”。所以不久就出為華州刺史。次官有給事黃門侍郎4人，負責糾正奏章得失。《隋書柳雄亮傳》載，雄亮任給事黃門侍郎時，“尚書省凡有奏事，雄亮多所駁正，深為公卿所憚”。
煬帝時去“給事”二字，另加置給事郎4人，這就是唐代給事中的前身。此外，還有錄事、通事令史各6人。隋初還有散騎常侍，通直散騎常侍各4人、諫議大夫7人，都是諫官。煬帝說他生性不喜人諫，所以把諫官全部罷廢了。隋初，門下省還掌皇帝衣食供奉等日常生活事務，統城門、尚食、尚藥、符璽、禦府、殿內等六局。城門局：設校尉2人，直長4人。尚食局：設典禦2人，直長4人、食藥4人。尚藥局：置典禦2人，侍禦醫、直長各4人，醫師40人。符璽、禦府、殿內局：置監各2人、直長各4人。與尚書省、門下省鼎足而立的是內史省。內史省後來改為內書省，為中樞的製令機關，專司起草皇帝詔令。隋初置監、令各1人，後來廢監，置令1人（正三品）。內書令，本稱中書令，在漢代本是掌禁中書記的，所以稱“中書”。漢武帝時，司馬遷受腐刑出獄後就當過中書（謁者）令。魏晉以來，中書令掌出納王命，南朝多以諸公兼之，至隋代才以專人任其職。煬帝時，內書令已不常置，往往以其次官內書侍郎行其職。內書省的屬官還有舍人8人，掌起草製令；通事舍人16人，掌宣奏。
不過，在隋代也偶有內書侍郎親自草擬詔敕，如《隋書薛道衡傳》載：高祖時薛道衡任內書侍郎，“每至構文，必穩定空齋，蹋壁而臥，聞戶外有人，便怒。”其勞心焦思若此，所以文帝讚揚他說：“薛道衡作文書，稱我意。”三省之外，還有秘書省和內侍省，這是掌握具體事務的官署，秘書省掌圖書籍藏整理。這個官署一般比較清閑，長官為秘書監（正三品）1人，次官有秘書丞1人。屬官有秘書郎4人、校書郎12人、正字4人、錄事2人，領著作曹、太史曹。著作曹掌國史修撰，有著作郎2人，佐郎8人，校書郎、正字各2人。太史曹掌天文曆法，置太史令、太史丞、司曆各2人，監候四人。隋煬帝大業年間，又新置儒林郎10人，掌明經顧問，唯詔所使。文林郎21人，掌撰錄文史，檢討舊事。內侍省是內廷的侍奉機關，隋初由宦官擔任。置內侍（從四品上）2人為其省長。次官有內常侍2人。屬官有內謁者監6人，內寺伯2人，內謁者12人，寺人6人，伺非8人，統領尚食、掖庭、宮闈、奚官、內仆、內府等六局。煬帝時改內侍省為長秋監，有長秋令、少令、丞等皆用士人，低級役使人員則用宦官。
以上是隋代中樞機構的“五省”，朝廷內外政務皆由其統轄，為中央最高執政機關。隋初的監察機關隻有禦史台，煬帝大業三年（公元607年）又增設了謁者、司隸二台，合稱三台。禦史台的長官為禦史大夫（從三品）1人，次官為治書侍禦史2人。屬官有侍禦史8人，殿內侍禦史、監察禦史各12人，錄事2人。禦史職掌糾察彈劾。如《隋書李孝貞傳》載：隋初李孝貞為內史侍郎，不稱職，文帝欲免其官，就先“敕禦史劾其事，由是出為金州刺史”。禦史還出使巡察，監諸軍旅，如《隋書柳E77傳》載：開皇時， 柳E77為治書侍禦史，持節巡察河北五十二州，“奏免長吏贓汙不稱職 者二百餘人”；仁壽初，又持節巡察太原道十九州。煬帝時設置了謁者、司隸二台後，便分割了禦史台的職權。謁者台的職掌是奉詔出使，慰撫勞問，並持節察按，遇有冤獄則受而奏之。長官為謁者大夫1人（正四品）。司隸台職掌巡察京畿內外，長官為司隸大夫1人（正四品），屬官有別駕2人，分察畿內，一人管東都洛陽，一人管京師長安。有刺史14人，從事40人副之，掌巡察京畿以外的全國郡縣，其職責是“激濁揚清”，若遇貪黷的郡守則有權免職，有功則上報其事跡，加以旌勉。不久，司隸台被廢，改派以京官清明者掛司隸銜頭出使巡察。
隋初的都水台和太常以下十一寺，到煬帝大業三年（公元607年）演變為太常、光祿、衛尉、宗正、大仆、大理、鴻臚、司農、太府等“九寺”，以及國子、將作、都水、長秋和從太府寺分置的少府等“五監”，統稱諸寺、諸監，也都是中央具體的事務機關。由於各寺、監長官都得親自處理事務，所以往往選派懂得該方麵事務或有專長的人擔任，如將作監掌土木工程，長官稱將作大匠。據《冊府元龜》卷602《卿監部選舉》記載，宇文愷從小好技藝之事，有巧思，因受株連除名在家。楊堅建造仁壽宮時，特地征召他代理將作大匠，以總其事。又如司農寺是掌屯田種植的，長官稱卿。據《隋書樊叔略傳》載，樊叔略在任司農卿時，“凡種植，叔略別為條製，皆出人意表”。再如太府寺在開皇時兼掌手工業，據《隋書蘇孝慈傳》載，蘇孝慈在任太府卿時，“征天下工匠，無不畢集，孝慈總其事，世以為能。”隋代因設六曹尚書，所以寺卿的權力比秦漢之九卿為輕。楊堅出身軍事貴族，又憑借軍政權力攫取了帝位，深知集中軍權對於鞏固統治的重要性。
北周時期，強迫漢族官員改用鮮卑姓，兵士也要隨將軍改姓。楊堅下令恢複群官舊姓，也就地改變了兵隨將姓的宗法隸屬關係。以後，在北周府兵製的基礎上，建立十二府：即左右衛、左右武衛、左右武侯、左右領、左右監門、左右領軍等，統領全部內外禁衛部隊。每府設大將軍1人，將軍2人，下轄驃騎、車騎府。十二府的大將軍直隸於皇帝，軍人總稱侍官。隋初兵府各級將領的數目比北周時增多，而品位則普遍降低二、三級。這些改變大大加強了以楊堅為首的隋朝中央政權對軍隊的控製。到煬帝時，把隋初的十二府變為左右翊衛、左右騎衛、左右武衛、左右屯衛、左右禦衛、左右侯衛等十二衛和左、右備身府、左、右監門府等四府，統稱十六衛府。各府所轄之驃騎府改稱鷹揚府，軍人改稱衛士。十六衛府為中央軍事宿衛機關，統領全國軍隊。這與尚書省兵部僅掌軍事行政，而無一兵一卒之權不同。十二衛各有大將軍1人，將軍2人，分統府兵。
四府不統府兵，各置郎將1人，直齋或直閣若幹人。備身府掌左右侍衛，監門府掌門禁守衛。東宮太子是皇帝的接班人，古稱“皇儲”，置太師，太傅，太保及少師，少傅，少保，專司訓導。此外，在其府下還有一套文武人馬，其製擬中央官製，門下坊擬門下省，置左庶子2人，內舍人4人，錄事2人，主事令史4人，統領司經、宮門、內直、典膳、藥藏、齋帥等六局。司經局置洗馬4人，校書6人，正字2人。宮門局置宮門大夫2人。內直局置內直監、內直副監各2人，監殿舍人4人。典膳、藥藏置監、丞各2人。藥藏又有侍醫4人。齋帥局置吏員4人。典書坊擬內史省，置右庶子2人，舍人、通事舍人各8人，錄事2人，主事令史4人，內坊典內及丞各2人，丞直4人，錄事1人，內廄置尉2人，掌內車輿之事。家令寺、率更令寺、仆寺，製擬中央諸寺諸監。家令寺置丞2人，掌刑法、食膳、倉庫、什物、奴婢等事。率更令寺置丞1人，掌伎樂漏刻。
仆寺置丞1人，掌宗族親疏，車輿騎乘。家令寺領食官、典倉、司藏三署令。仆寺領廄牧令員。此外，東宮還置有十率府，即左右衛、左右宗衛、左右虞候、左右內率、左右監門，其製擬十六衛府。但實際上其職事都比較清閑，而且往往由他官兼領。如楊堅的長子楊勇為太子時，高祖“多令大臣領其職”，據《隋書蘇孝慈傳》載，兵部尚書蘇孝慈就曾掛名兼領太子左衛率、太子右庶子等職。隋文帝采用北周之製，設“勳位”十一等，即上柱國、柱國、上大將軍、大將軍、上開府儀同三司、開府儀同三司、上儀同三司、儀同三司、大都督、帥都督、都督等，以酬答有功之臣。又設特進、左右光祿大夫、金紫光祿大夫、銀青光祿大夫、朝議大夫、朝散大夫等散官之號，以加封給品德高尚、聲名著稱但不理事的官員。隋代規定，有具體職責的稱“職事官”，無者為“散官”。
二、郡縣製——成熟的官製模式
地方官製在秦漢時，本來隻有郡、縣二級，後因地方權力不斷擴大，就增置刺史或州牧，直屬丞相，以製約太守，於是地方官製就由二級變為三級了。隋初地方製還是州、郡、縣三級，據《隋書地理誌》載，楊堅即位時，有州201個，郡508個，縣1，124個。州、郡、縣均分為上上至下下九等。一般都有兩套職官，一套由吏部直接任命的官員，州除刺史外，還有長史、司馬、錄事參軍事、功曹、戶曹參軍事等；一套由刺史直接辟置的官員，如典簽、州都、郡正、主簿、西曹書佐、祭酒從事、部郡從事、倉督、市令等。郡也是如此，除郡太守、郡丞、郡尉由吏部直接任命外，還有光初光曹、光初主簿、縣正、功曹、主簿、西曹、金、戶、兵、法、士諸曹，均由郡太守自行辟置。縣除主官由吏部任命外，其僚佐也由縣令自行辟置。這套州、郡、縣地方行政機構十分龐大，上上州額定官員323人；上中州311人；就是下下州也有156人。上上郡額定官員為146人，上中郡為141個，下下郡也有97人。
上上縣額定官員99人，上中縣95人，下下縣也有47人。州、郡、縣如此之多，官吏設置如此之濫，出現了“或地無百裏，數縣並置；或戶不滿千，二郡分領”的狹小區域，形成了“民少官多、十羊九牧”的地方行政機構。楊堅接受了楊尚希的建議，按照“存要去閑，並小為大”的原則，於開皇三年（公元583年）對地方行政機構進行了大規模的精簡整頓，把州、郡、縣三級製，改為州、縣二級製，罷天下諸郡，以州直接統縣。州設刺史，縣設縣令。縣下五家為保，五保為閭，四閭為族，分置保長、閭正、族正（京畿以外置裏正、黨長），對人民進行嚴密的控製。隋文帝改革地方行政製度的一項重大措施，是完全廢除了漢代以來州郡長官可以自行辟署置僚佐的製度。州郡牧守自辟僚佐，是形成地方割據勢力的一個重要因素。
有的屬吏和舉主之間，由於形成了牢固的封建依附關係，往往唯主之命是從，而置封建國家的利益於不顧。自魏晉實行九品中正製以後，世家大族壟斷了品第人物；薦舉官吏的權力，州郡僚佐的辟署，實際上又為世家大族所左右。這種情況，不利於中央集權。北魏末年和北齊時期，州郡僚佐大多由吏部銓授，但州郡長官自署僚佐的製度並未廢除。隋文帝把州郡僚佐的任命權，完全收歸吏部，全國九品以上地方官均由中央任命，吏部考核。同時規定縣佐必須回避本郡，任期三年，不得連任。這樣就大大加強了中央政府對地方的控製。隋煬帝大業三年（公元607年）又易州為郡，地方官製變成郡縣二級。郡分上中下三等，各置太守，上郡從三品，中郡正四品，下郡從四品。京兆、河南則俱置尹，俱為正三品。罷長史、司馬，置讚務（後改為丞）為次官。後來，諸郡各加置通守一人，位次太守，居讚務之上。京兆、河南，則謂之內史。以前，凡有駐兵處，則刺史帶諸軍事銜以統之。煬帝時則別置都尉，副都尉。都尉正四品，副都尉正五品，領兵與郡不相知。大興、長安、河南、洛陽四縣令，並增為正五品。
其餘諸縣根據其政務之繁簡及地域之主次以定縣令之等級。各縣均置丞及主簿如故。根據《隋書地理誌》的記載，大業五年（公元609年）的統計，全國有郡190個，縣1，255個。諸郡每年年終太守或佐貳都要進京述職，稱為朝集使。朝廷不定期地派司隸台官員或別使到地方巡察，以溝通中央與地方的密切聯係。除州（郡）縣以外，隋代地方還有兩類機構。一是行台省，全稱行台尚書省，相當於中央尚書省在地方的派出機關。總統某方麵的軍政事務，凡管轄內的州縣皆受其節製，事權極重。開皇二年（公元582年），置河北道行台於並州，以晉王廣為尚書令，置西南道行台於益州，以蜀王秀為尚書令，置河南道行台於洛州，以秦王俊為尚書令。不久，又廢罷了。行台省的主官是尚書令，次官為仆射（左、右任置）。其下置兵部尚書、度支尚書及丞各1人，都事四人。又有考功，禮部，膳部，兵部，駕部，庫部，刑部，度支，戶部，金部，工部，屯田等侍郎各1人。每行台還置食貨、農圃、武器、百工監、副監各1人。二是總管府。隋初依北周舊製於諸州置總管府，分為上、中、下三等，總管刺史加使持節，掌一州或數州的軍政事務。如秦王俊為秦州總管時，“隴右諸州盡隸焉”。《隋書高祖紀》載：開皇八年（公元588年），晉王廣曾奉命統九十路總管，領五十一萬大軍伐陳。煬帝大業元年（公元605年）廢除總管府。但這個製度對唐代的地方官製仍有一定影響。隋文帝為了貫徹他的政策，非常注意官吏的選拔，並且實施法治，嚴明賞罰。