為了保證駐在漠北草原上的蒙古各部的軍政統一，忽必烈取消了蒙古左、右翼萬戶長，各蒙古千戶的長官直接聽命於樞密院。元廷曾長年委派一員知院坐鎮漠北，就地處理軍務。
2.宗王出鎮
蒙古國時期分封的蒙古宗王，都擁有直屬的蒙古千戶和封地。忽必烈改變了這種做法，將自己的幾個兒子分派到漠北、陝西、雲南、吐蕃等地作為出鎮宗王，不再封給他們蒙古千戶和封地，隻授以宗王節製當地軍隊的權利，有戰事時作為軍隊的最高指揮官。在漠北出鎮的宗王，地位在坐鎮漠北的知院之上。元朝中期，在鄂州和揚州等地也設置了出鎮宗王。出鎮宗王多是忽必烈的後裔，更換襲任需由皇帝親自決斷。
3.行樞密院與行省官員掌軍政
為統一指揮軍隊對宋作戰，忽必烈先將統管探馬赤軍和漢軍的都元帥改建為統軍司，後又改為行樞密院或行中書省。統軍司和行院、行省的官員，都由皇帝任命，具有指揮軍隊作戰、調配軍需物品、措置邊防戍守等權力。
全國統一之後，行樞密院相繼撤罷，在全國設立河南江北、江浙、湖廣、江西、四川、雲南、陝西、甘肅、遼陽、嶺北10個行省。各行省設置平章二員，兼管軍事，總督本省軍馬。行省平章一般由蒙古人充任，有時也用色目人，漢人不得任職。行省內的萬戶府，元帥府等，是行省的下屬軍府。在遠離行省中心的地區或少數民族聚居地區，設立宣慰司都元帥府掌軍政和民政，作為行省和郡縣的中介機構。
各行省的軍隊調發，需經樞密院批準傳旨。行省內務軍隊的鎮戍和屯田地點，也要由行省官員和樞密院協議確定。在某一地區發生戰亂，先由樞密院傳旨所在行省平章，調派軍隊鎮壓，如不奏效，則傳命附近行省發軍會剿。有時，也在戰事頻繁的地區設立行樞密院，臨時提調從各省調來的軍隊，戰事平複後則撤銷。
兵役製度
進入元朝之後，蒙古各部仍實行成年男子皆兵的兵役製度。其他民族的人，則由國家強行指定一部分百姓承擔服兵役的義務，他們的戶籍與其他百姓分開，另行管理，實行軍戶製度。蒙古國時期的簽軍和定立軍籍，進入元朝後繼續進行。到至元十六年（1279）以前，探馬赤軍和漢軍士兵的軍籍確定工作基本完成；至元二十年到二十七年，又定立了新附軍人軍籍。軍戶由此分成漢軍軍戶、探馬赤軍戶（也稱蒙古軍戶）和新附軍戶三種。
漢軍軍戶的簽發是以民戶的財產和勞動力狀況為根據的，一般取之於中戶，但是各軍戶的財產和勞動力情況往往有很大差別。針對部分軍戶無丁或無力服兵役的情況，政府很快推行了正、貼戶製，依據軍戶的不同狀況，以兩三戶或四五戶合出軍1名，出人當兵的戶叫做正軍戶，又稱軍頭，其他各戶出錢資助，稱為貼軍戶，由政府指定，不能隨意改變。如果正軍戶缺乏可以當兵的合適人丁，由有丁的貼軍戶頂替，改為正軍戶出錢資助。一旦正軍戶中有了合適的人丁，便要繼續出軍。
探馬赤軍戶原來出自蒙古各部，新附軍戶來源於元朝政府招收的南宋降軍，都沒有財產依據，不實行幾戶合出一軍的製度，但是某些探馬赤軍戶原來擁有的驅口釋放為民之後，按照政府的規定，就成為舊主人的貼軍戶，出錢資助出軍。新附軍戶都沒有貼戶。
軍戶履行服兵役的義務，必須以“正身”（本人）應役，不得逃避或以他人代役。如軍人在出征或出戌時逃亡，要到原籍勾取他的兄弟子侄來頂替。軍人陣亡或病死，軍戶可以享受“存恤”的待遇。侍衛親軍和屯田、鎮戍軍人，無戰事時輪流休假，輪換時間各有不同，短的每年都可以輪換休息，長的3年或6年才能休假一次。
軍戶的武器裝備，探馬赤軍戶仍要自備；漢軍軍人服役期間，由政府發給冬夏軍裝，配備武器，並按月發放口糧；服裝的不足部分以及其他裝備與開支，由軍戶自理。正軍戶和貼軍戶湊齊出征、出戍軍人的所有費用，定期送到軍中，稱為“封椿”錢（又稱作“封裝”錢）。新附軍人的裝備全由政府供給，家屬還要每月由政府發放口糧。作為軍戶承擔兵役的補償，元朝政府在賦役方麵對軍戶實行豁免和優待。
奧魯是管理軍戶的機構。探馬赤軍萬戶中原來設立的奧魯官，建立都萬戶府後，陸續撤罷，由都萬戶府下屬的萬戶府和千戶所直接管理探馬赤軍戶。漢軍奧魯，在忽必烈即位後從各漢軍萬戶下分出來，由各路、府、州、縣的管民官兼管。新附軍戶由所在軍府的管軍軍官直接管理，沒有奧魯的設置。奧魯的主要職責是征發軍戶服兵役和征取封椿錢。軍戶犯罪，奧魯官要協助審理。
軍戶製的實行，可以保證軍隊有穩定的兵源，又可以維持一支龐大的軍隊而使政府負擔不致過重。但是，軍戶製也有許多難以克服的矛盾。軍戶負擔過重，再加上軍官的殘酷剝削和壓迫，常常導致軍人逃亡和軍戶破產。到了元朝中期，這種現象愈來愈嚴重，軍戶製受到嚴重破壞。到元末農民戰爭前夕，軍戶製已經完全崩潰。
軍事職官製度
蒙古國和元朝，都實行軍官世襲製度。蒙古千戶長、百戶長去職，由子孫襲任本職；探馬赤軍和漢軍軍官戰死，子孫襲其原職；病死則子孫降二等襲職。承襲者必須年滿20歲，按照規定要進行武藝和文化考核。原來，承襲者可以是兒子，也可以是兄弟子侄。由於承襲順序不清楚，經常發生爭執。仁宗時特別作出規定，必須由嫡長子承襲，其次是嫡長孫。這是第一順序。如果沒嫡長子孫或嫡長子孫不夠承襲年齡，則改由第二順序，即庶子和兄弟、侄等承襲。嫡長子孫及齡後，第二順序承襲者要將職位交回他們手中。