總之，在忽必烈之前，蒙古國的軍事、行政管理機構，由適應草原貴族統治遊牧民的簡單型、原始型，逐漸向統治中原農業民族的複合型、複雜型過渡。既保留了原蒙古的主要官職，又大量采用了遼金朝的各項官職，而且“草創之初，固未暇為經久之規”（《元史》卷85《百官誌》。）因事設職，因人而官，對投降者，因其故宮而授之，以示崇榮，並不一定有實職，官職正處於新舊交替時期，應該說，還沒有形成完整的體係和製度。
忽必烈即位之初，雖然無暇顧及官職製度的厘定，但一開始他就十分重視行政官吏的配備。中統元年即立行中書省，以王文統為平章政事，張文謙為左丞，“以總內外百官之政”。中書省下設左三部、右三部，將中原各地劃分為十路，即燕京路、益都濟南路、河南路、北京路等、平陽太原路、真定路、東平路、大名彰德路、西京路、京兆路等，設十路宣撫司，“以總天下之政”。隨著統治地區的擴大，以及注意力逐漸集中於內政和地方治理，行政管理和職官的設置愈來愈顯得重要。到至元八年，正式建國號為元，同時命劉秉忠、許衡等原定行政體製和官職，使忽必烈時期元朝的行政體製和官職，更加規範和完善。
忽必烈根據多年來的經驗和曆代行政製度，在中央一級設立中書省、樞密院和禦史台，分別管理全國行政、軍事和監察。中書省下又設立各部。部的數量有過很大的變動，中統六年時，以吏、戶、禮為左三部，兵、刑、工為右三部，左右部各設尚書二員、侍郎二員等，實際是合署辦公。至元元年，左三部中分出戶部，右三部中分出工部，各單獨為一部，中央分為四部。立國號後，中央始為六部。中書省設中書令，由皇太子兼任。設右丞相、左丞相各一人，由他們總領省事；設平章政事四員，右丞、左丞各一員，參知政事二員，以及其他各種官員。樞密院掌管軍事機密及宮禁宿衛軍官選授簡閱等，設知院六員，同知四員，副使二員等官員。禦史台設置較晚，至元五年經高智耀建議，始“置禦史台以糾肅官常”（《元史》卷125《高智耀傳》）……禦史台掌管糾察百官善惡、政治得失，設大夫二員，中丞二員，侍禦史二員，治書侍禦史二員等官員。
在中央行政機構中，比較具有特殊意義的是總製院的設置。西藏從貴由汗時就歸附於蒙古。1252年忽必烈奉命征伐大理，途中須經過吐蕃之地，遂命人前往涼州（今甘肅武威）召請已在那裏的藏傳佛教薩迦派班智達貢噶堅讚，欲利用其威望，幫助蒙軍順利經過吐蕃。但當時貢噶堅讚已死，其侄八思巴應召於1253年謁見忽必烈，遂被留於王府。忽必烈即位後，於中統元年尊其為國師，授玉印，並命其管理西藏地區。後忽必烈委托他用藏文字母創製蒙古文字，這就是所謂“八思巴蒙古新字”。在忽必烈時期，這種文字主要用於官方的詔誥公文等。到至元初年，由於西藏事務日益繁忙，遂設總製院，由國師八思巴直接領管，設總製院使1人，正二品，同知1人正三品等及其他官員。至元二十五年，改總製院為宣政院，設院使10員，從一品。其任務是“掌釋教徒及吐蕃諸族之事，遇吐蕃有事，則設分院往蒞”（《元史》卷58《地理誌》一）……這一官職的設立，反映忽必烈對佛教和西藏的重視，也是中國曆代官職中的一個創舉。
中央其他辦事機構仍以寺、以監、以衛、以府為名。中統年間，中央政府又根據各地情況和事情的性質，以中書省、樞密院、禦史台的名義在各地區設辦事機構，即所謂行中書省事（簡稱行省）、行樞密院事（簡稱行院）、行禦史台事（簡稱行台）。元朝建國號後，地方官職和機構進一步規範，將原來十路宣慰使改為行中書省（簡稱行省），在行省之下設路、府、州、縣。行省數量在建國號之前，並不固定，建國號後，逐漸確定為十三個左右，但仍時有變動，再加上各種各樣的宣慰使都元帥府等，使地方行政設施與官員，事出而立，事息而撤，縱橫交錯，難於理清。但大體的框架，是忽必烈時期奠定的。
忽必烈時所設中央機構和地方行政機構，雖不完整，但對統一政事和軍務，消除草原遊牧貴族領主勢力和中原地區武裝集團的割據，起了很好的作用，對元朝中央政令的推行和國家的統一，都是十分必要的。當時人評論忽必烈對中原政治上的統一說：“蓋嶺北、遼陽與甘肅、四川、雲南、湖廣之邊，唐所謂羈縻之州往往是在，今皆賦役之，比於內地”，“漢唐極盛之際，有不及焉。”許有壬：《至正集》卷32《送蔡子華·序》。
四、進一步削弱和淡化親王貴族分封製
作為一個草原遊牧民族，一旦建立政權，他們所采取的基本的行政製度，就是貴族領主分封製度，即對可汗或首領的子弟、有功大臣，按其地位和功勞，分給他們一定數量的土地及人民，作為他們的“湯沐”之地，這塊土地和附著於其上的牧民，就成為這位貴族的領地和屬民。這是古代遊牧草原民族政權行政製度的通例，也是草原遊牧經濟所需要的基本管理形式。蒙古作為遊牧草原部落民族，在其建立政權後，對土地和人民的管理，也無例外地采取了這種製度。正如史籍所記，成吉思汗即位後，說：“哥哥弟弟們商量定，取天下了嗬，各分地土共享富貴”（《元典章》卷9《吏部》三，）《改正投下達魯花赤》。這是他們跟隨成吉思汗出征打仗的目的，因此也是取勝後必然獲得的結果。在成吉思汗即汗位時，他的兄弟、諸妻子都得到了一塊封地和一定數量的屬民。到成吉思汗後期，又給其四個兒子劃分了封地。經過窩闊台、貴由和蒙哥汗，這些封地又有了許多新的變動和新的分配，但就其範圍來說，蒙古貴族所占封地，主要是當時蒙古汗國所控製的適合遊牧的地區，包括蒙古本部及其西北地區和今新疆北部、中亞以及大興安嶺東西等地。
隨著蒙古擴張戰爭進入中原金朝領域，蒙古貴族在戰爭中所占的土地和居民，除大部分為蒙古大汗所有外，各貴族將領也均有自己的私屬，所謂“國初方事進取，所降下者，因以與之，自一社一民，各有所主，不相統屬”（《元文類》卷57，宋子貞：《中書令耶律公神道碑》）……窩闊台時，命耶律楚材為“中書令”，耶律楚材根據中原情況，提出一係列限製諸王貴族搶掠土地、百姓和財富的政策，加強中央政府對州縣的管理。1234年，窩闊台根據耶律楚材的建議下令：“不論達達、回回、契丹、女真、漢兒人等，如是軍前擄到人口，在家住做作牲口；因而在處住坐，於隨處附籍，係是皇帝民戶，應當隨處發差”（《元典章》卷17，《戶部》三）“戶口條畫”。限製了諸王貴族對新占州縣百姓的隨意霸占。1235年，窩闊台又將中原諸州和民戶分封給諸王貴族。按以往慣例，分封給諸王貴族的州縣百姓，諸王貴族就有權派官管理，直接收取和勒索貢物，征發各種雜役。這一慣例，極不利於中原地區社會安定、經濟發展，也是對蒙古中央政府權力的極大削弱。耶律楚材立即向窩闊台建議，認為這樣做“‘尾大不掉，易以生隙，不如多與金帛，足以為恩。’上曰：‘業已許之’，複曰：‘若樹置官吏，必自朝命，除恒賦外，不令擅自征斂，差可久矣。’從之。”（《元文類》卷57，宋子貞：《中書令耶律公神道碑》。）“命各位止設達魯花赤，朝廷置官吏收其租頒之，非奉詔不得征兵賦”（《元史》卷2《太宗本紀》）……從此後，給諸王貴族封賜州縣百姓的事，雖然年年都有，但對這些分地的管轄權，卻逐漸轉歸中央政府，諸王貴族隻是按一定數量——即五戶絲，從州郡政府處領取賦稅，大大地減弱了百姓對諸王貴族的人身依附。
忽必烈即位之初，於中統元年對五戶絲製，即諸王貴族按封地大小所得的收入，進行了改革。原來“五戶絲”從州郡官員處領取，漢族諸大臣認為：“如此是恩不上出，事又不一，於政體未便”，要求今後“五戶絲”都上交“大都總藏，每歲的各投下差官赴省，驗數關支”（王惲：《秋澗先生大全文集》卷80《中堂記事》）……這又進一步加強了中央集權，進一步拉大了諸王貴族與其封地之間的距離。至元元年，又頒聖旨，“切禁約投下人員，無得似前亂行招收（民戶）”，而且罷除了由諸王貴族在各封地所設達魯花赤。平定李後，對各路漢族軍閥，忽必烈乘機“罷諸侯世守，立遷轉法”，所有漢族世侯的封邑，被迫自動邀還、撤銷，即所謂“改隸民籍”。對一些宗王的封地，也作了調整，並“敕諸投下官，隸中書省”，把諸王貴族在自己封地上的代表，全部撤銷，大大削弱了諸王貴族封建割據的勢力。
忽必烈畢竟還是一個長期在遊牧貴族分封製下生活的蒙古貴族，他當然不可能對分封製撤底廢除，所以他盡管對分封製進行了許多改革和限製，但他仍然多次進行分封，即所謂分授“湯沐邑”於諸王。除此而外，他還先後把自己的兒子封為王，使其鎮撫一方。其中如忙哥剌被封為安西王，鎮關中；南合木為北平王，鎮阿力麻裏；闊闊出為寧遠王，鎮漠北；奧魯赤為西平王，鎮河西；脫歡為鎮南王，駐揚州；忽哥赤為雲南王，駐昆明；“汴梁以南至江，以親王鎮之”，“依安西王故事”。這些王雖然與以前各蒙古大汗所封諸王對封地所擁有權力的性質，已大不相同，但是，其權力依然很大。如安西王，有自己的王府，有自己的官員，擁有重兵，“凡河東、河南、山之南與陝西食解池鹽地，皆置吏督其賦入，悉輸王府”（《牧庵集》卷18《提舉太原鹽使司徐君神道碑》）。“凡官關中者，職與不職，聽其承製遷黜”同上書，卷23《高良弼神道碑》。“其大如軍旅之振治，爵賞之予奪，威刑之寬猛，承製行之。自餘商賈之征，農畝之賦，山澤之產，鹽鐵之利，不入王府，悉邸自有”（同上書，卷10《延赤碑》）……其中一些權力，按規定並不屬親王，但這些親王駐守地方，對當地各項行政、稅收之事，不可能不插手，也不可能不將地方財稅攫為己有。但他們畢竟不同於封建割據的草原貴族。因為按規定，他們是不能幹涉地方州縣的行政和財富，一般也不許設立王府及其官員，他所鎮撫地區的老百姓，更不是他的投下戶，所鎮地區也不是他的“兀魯斯”。鎮撫親王的職能，實際上主要是一種直屬於忽必烈的、有超過一般監督權力的特殊監督機構。