忽必烈雖然采用了漢法，但他卻不拘泥於漢法，他的大膽革新的精神使我們不能不佩服。並且我們還發現，在忽必烈改組機構的重大創舉中，他所依賴和任命的大多是漢人儒士，從中書省、行中書省到各路的宣慰使司，許多高級官員都是漢人。例如中書省的史天澤、王文統、趙璧、張易、張文謙、楊果、商挺諸人即是。即便是公元1260年5月所設置的十路宣慰司，擔任行政長官的，很少有蒙古族的人士，而像布魯海牙、粘合南合等色目人也都是漢化很深的儒人。雖然在公元1261年，中書省官員經過調整，增加了蒙古貴族不花、塔察兒和忽魯不花等人，但他們由於缺乏實際的政治經驗和管理才能，隻能是起象征性作用的人物。所以，忽必烈在最初的行政機構的改建中，的確拋棄了蒙古舊製，也難怪守舊的蒙古貴族對此極為不滿，他們從蒙古草原派出使者質問當時駐在開平的忽必烈說：“本朝舊俗，與漢法不同，今天保留了漢地，建築都城，建立儀文製度，遵用漢法，其故何如？”對此，忽必烈堅定地回答他們說：“從今天形勢的發展來看，非用漢法不可。”旗幟鮮明地向蒙古王公貴族表明了自己要實行漢法的決心。
按照“漢法”改革的思路，忽必烈的機構改革是一竿子插到底，從中央到地方，一攬子進行，在地方上除了完善行省製度外，還設立了廉訪司、宣慰司。在行省下設路府州縣四級行政機構來具體負責地方事務，盡管設置這些都沒有什麼大的建樹，全都是借用了宋、金的製度，然而，他畢竟將蒙元帝國的行政改革推上了漢化的道路。
公元1263年，完成了中書、行省創建的忽必烈也並沒有放鬆對軍事衙門的改置。此前的萬戶、千戶的設置在民政、軍政上不分，常有分散軍事權力的隱患。隨著元朝統治的擴大，一個統一的軍事權力機構的建立也勢在必行。因而這一年被李瑭王搞得精疲力竭的忽必烈便下詔：“諸路管民官處理民事，掌管軍隊的官員負責軍事，各自有自己的衙門，互相之間不再統攝。”公元1264年元月，全國最高軍事機構——樞密院誕生了。樞密院的設置，是忽必烈又一次對蒙古原有的軍政不分家舊製的重大變革。當然，忽必烈多少也在這個方麵保留了一些民族特色，他仍然將率兵長官牢牢地掌握在自己的手中，以防止突然的事件。萬戶長、千戶長也並沒有完全從蒙古帝國清除掉，仍然在蒙古人中保留了這一頭銜。並且自從樞密院建立後，出於民族防範的需要，老謀深算的忽必烈從不輕易地把兵權交給漢人掌管，除了他非常信任的幾個漢人之外。
從小便習慣在馬背上射獵廝殺的忽必烈並未忽視兵權的重要性，實際的鬥爭經驗也使他深深懂得武裝力量對於國家政權以及統治的保障作用，就在他即位大汗的初年，此起彼伏的農民起義便“相煽以動，大或數萬，小或數千，在在為群”，攪得他心驚肉跳。何況還有一個苟延殘喘的南宋小朝廷等著他去消滅，恐怕僅靠蒙古軍是完不成這一曆史任務的。對軍事改革的迫切性、重要性，忽必烈一點沒有忘記。隨著他的政治統治的穩定，他的軍事製度也日趨完善，忽必烈時期不僅有一套完整的軍隊宿衛和鎮戍體係，而且將他的祖先所留下的兵製發揮得淋漓盡致。
怯薛製無疑在元朝的軍製乃至官僚體製中都具有非常重要的地位，怯薛不歸樞密院節製，而由忽必烈及其繼承者們直接控製；怯薛的成員怯薛歹雖沒有法定的品秩，而忽必烈卻給予他們很高的待遇。一個明顯的事實是，每當蒙古帝國、大元皇帝們與省院官員在禁廷商議國策時，必定有掌領當值宿衛的怯薛長預聞其事。所以怯薛歹們難免利用自己久居皇宮、接近皇帝的特權，常常隔越中書省而向皇帝奏事，從內宮降旨，而幹涉朝廷的軍國大政。這與他們所處的環境、身份與地位有相當大的關係。
誠然，忽必烈也知道內重於外、京畿重於外地的軍事控製道理，因而，他便建立了皇家的侍衛親軍，讓他們給自己保衛以兩京為中心的京畿腹地。忽必烈當時共設置了十二衛，衛兵武器之精良、糧草之充足、戰鬥力之強，都是全國各地的鎮戍軍所不敢望其項背的。
我們也不能不佩服忽必烈改建軍隊的才能，在偌大的民族成分各異的帝國內，忽必烈不費吹灰之力就將不同地區、不同民族的軍隊分為四種，即蒙古軍、探馬赤軍、漢軍、新附軍，而軍隊數量之多，連馬可·波羅也不能不感到驚奇，他說：“忽必烈大汗的軍隊，散布在相距二十、四十乃至六十日路程的各個地方。大汗隻要召集他的一半軍隊，他就可以得到盡其所需那麼多的騎士，其數量是如此之大，以至於使人覺得難以置信。”讓我們權且相信這位實際見證人的話吧。