在地方，隋初推行州、縣兩級製。在邊境及內地重要州，設總管負責該地域軍事，並統一附近數州的軍事管理。煬帝時改行郡、縣製，在郡設都尉（正四品）、副都尉（正五品），負責一郡的兵馬，與郡不相知。
軍事要地置鎮，設鎮將、副將。上鎮將從四品，中鎮將及上鎮的副將從五品，下鎮將及中鎮副將為正六品，下鎮副將從六品。次於鎮者置戍，設戍主及副。上戍主為正七品，中戍主及上戍副為正八品，下戍主及中戍副為正九品。要隘及交通孔道設關，置令及丞。上關令及中關令從八品，卞關令及上關丞正九品。
府兵製的改革
軍人編入戶籍隋文帝十分重視府兵的改革。其入宮輔政之時，便借皇帝之名恢複諸將舊姓。北魏孝文帝改製後，隨著北魏政權封建化的加速，原六鎮的鮮卑軍戶社會地位也急劇下降。當他們參加六鎮起義後，又成為一些經叛變、起義而轉化為新貴族將領的統治工具。他們對過去被人賤視的經曆記憶猶新，向往早期部落兵的生活。於是，宇文泰等為迎合這種心理，將府兵製下的官兵關係蒙上一層部落化的色彩。命令各有功將領，分別繼承為鮮卑三十六大部和九十九氏族的子孫；漢族或其他民族一律改為鮮卑姓。這種作法雖然徒具部落化的形式，但使六鎮軍戶的地位有所改善和提高。楊堅恢複諸將舊姓，旨在恢複漢族地位，清除私兵、部族兵的遺痕，以爭取廣大漢族人民的同情與支持。開皇初年，又將鄉兵編入府兵，其首領轉為府兵將校，以削弱地方勢力。滅南陳後三個月，鑒於國內形勢趨於平穩，文帝下詔：除禁衛宮廷及戍邊所用兵械外，民間所藏一概銷毀，第二年，又詔令軍人編入地方戶籍，但同時又置於軍府的統一管轄下。這是府兵製的一次重大改革：即由兵農分離，到逐漸合一。文帝在統一全國後罷除北擊突厥、南下滅陳時的新軍府，將軍戶變為民戶，由州縣管理，並與百姓一樣按均田令授田，從而使均田製成為府兵製的基礎。軍人與土地相結合，使封建國家掌握的戶口和賦稅增多，軍費減少，有利社會經濟的發展。
鷹揚府的建立隋煬帝執政之初，根據政治需要，對府兵製又進行了重大改革。大業三年（607），改驃騎府為鷹揚府，驃騎將軍為鷹揚郎將，車騎將軍為鷹揚副郎將。鷹揚府置鷹揚郎將1人，鷹揚副郎將1人，各有司馬及兵、倉兩司。又置越騎校尉2人，掌騎士，步兵校尉2人，領步兵。改大都督為校尉，帥都督為旅帥，都督為隊正，增置隊副。大業五年，又改鷹揚副郎將為鷹擊郎將。鷹揚府的建立，並非單純地改變了軍府名稱，而是降低了將校的官品，如鷹揚郎將比驃騎將軍降低一級，鷹揚副郎將降低半級。這樣有利軍權進一步集中到皇帝手中，防止將校擁兵割據，權高震主。從隋末農民大起義來看，鷹揚府遍及全國，其府兵在鎮壓農民大起義及隋官起兵中，扮演了重要角色。