東漢末年，各地封建官僚和豪強大族在鎮壓黃巾農民起義的過程中，迅速擴大自己的武裝勢力，形成“大者連郡國，中者嬰城邑，小者聚阡陌”（《三國誌》卷2《魏誌·文帝記》注引《典論。自敘》）的割據混戰局麵。經過一係列的兼並戰爭，曹操、劉備、孫權三大軍事集團各自在中原、西南和江南地區建立起比較穩固的封建政權。魏、蜀、吳三國鼎立格局的出現雖然是軍事鬥爭取得均勢的產物，但大規模的戰爭仍然持續不斷。
因此，三國統治者對於軍事製度的建設都極為重視。魏、蜀、吳的軍事領導體製及其他軍事製度既有沿襲兩漢的內容，又有鮮明的時代特點和各自的地域特色。
一、中央軍事機構
建安年間，曹操先後任司空錄尚書事兼行車騎將軍、丞相、魏公、魏王，掌握著東漢王朝的軍政大權，漢獻帝不過是他“挾天子以令不臣”的政治工具。曹府實際上既是最高的行政機構，又是最高的軍事機構。建安元年(公元196年)曹操為司空錄尚書事兼行車騎將軍。司空貴為三公，可以開府設曹治事；錄尚書事總攬朝政，無所不統；車騎將軍是當時最高軍事統帥（據《三國誌》卷1《魏誌·武帝紀》，建安元年九月漢獻帝都許縣後，曾拜曹操為大將軍，但為時不到一月，曹操即將此職讓與袁紹，改任代理車騎將軍。袁紹為大將軍隻是掛名而已，曹操以行車騎將軍的身份領兵，才是當時最高軍事統帥。）府中所置領軍、護軍各一人，係曹操的主要軍事幕僚，平時參與軍事機密與決策，戰時代表統帥指揮與監護諸軍。
建安十三年(公元208年)，罷三公，曹操獨任丞相，綜理眾務，權力更為集中。領軍、護軍改為中領軍、中護軍，仍是曹操的主要軍事助手和中央直屬軍隊的統帥官。此外還有軍師祭酒、軍謀祭酒、參軍事等參與軍事謀議，左右司馬主管軍務。至於相府諸曹，也多與軍事有關，如東曹主武官任用，兵曹主日常軍務，尉曹主運輸供給等。
曹丕代漢稱帝後，為了防止權臣篡政，不設丞相，複置三公(太尉、司徒、司空)，但“三公無事，又希與朝政”，（《三國誌》卷24《魏誌·高柔傳》），皇帝統禦全國軍政的最高機構為尚書、中書二省，錄尚書事、尚書令、中書監及令成為協助皇帝進行軍事決策的主要助理。執掌兵事的最高武官為太尉、大司馬、大將軍，而實際處理日常軍務的機構是尚書省下屬的五兵尚書曹，該曹分置中兵、外兵、都兵、別兵、騎兵五曹郎，各司其職。這一常設性的軍事行政機構的創立，可謂後代兵部的濫觴。皇帝委任“都督中外諸軍事”作為最高軍事統帥，代表皇帝統率與指揮全國軍隊。
曹魏後期，君權衰微，曹爽以大將軍、都督中外諸軍事、錄尚書事、侍中的多重身份，集軍政大權於一身，皇帝實同傀儡。正始十年(公元249年)“高平陵之變”後，曹魏的軍政大權又旁落於司馬氏家族手中。甘露五年(公元260年)，司馬昭“以相國總百揆”，（《晉書》卷2《文帝紀》），相府淩駕於朝廷之上，成為實際上的最高軍政權力中心。司馬昭既是最高行政首腦，又是最高軍事統帥，魏王朝已經名存實亡。
蜀漢的創立者劉備在起兵後，長期打著維護與繼承漢室的正統旗號。他先以左將軍領司隸校尉的名義開府，後又以大司馬、漢中王的身分組建益州地區的最高軍政權力機構。劉備在自己的統治範圍內，同曹操一樣，既是最高的行政首腦，又是最高的軍事統帥。
諸葛亮任軍師將軍，作為幕僚長，協助劉備處理軍政事務。此外還有長史、主簿、參軍等幕僚，分掌軍政、民事。章武元年(公元221年)，劉備稱帝後，仍然擔任最高軍事統帥，不僅直接掌握軍權，而且親自率領大軍伐吳。諸葛亮為丞相錄尚書事，總理眾務，丞相府成為蜀漢皇帝統禦全國軍政的最高機構。
劉禪繼位後，耽於遊樂，不理朝政，諸葛亮掌握軍政大權，是蜀漢實際上的最高軍政首腦。丞相府置有軍師祭酒、中前後三軍師以及司馬、參軍等主要軍事屬官。諸葛亮死後。蜀漢不再設丞相一職，以錄尚書事、平尚書事或尚書令為最高行政長官，大司馬為最高軍政長官，大將軍為最高軍事統帥。如蔣琬、費禕都是以大將軍兼錄尚書事的身分任最高軍政長官，集軍事、行政大權於一身。蜀漢末年，薑維任大將軍時，加上“都督中外軍事”的職銜，成為有職有權的最高軍事統帥。
孫權割據江東，繼承父兄的未竟之業，先後以討虜將軍、驃騎將軍、車騎將軍、吳王的名義開府，成為東吳地區的最高軍政首腦。將軍府或王府就是最高軍事機構，孫權自任最高軍事統帥，有戰事時便臨時委任將領以都督、大都督等名義擔任參戰諸軍的主帥，如赤壁之戰時以周瑜、程普分任左右督，夷陵之戰時以陸遜為大都督。
黃龍元年(公元229年)，孫權稱帝，以丞相為最高行政長官，左、右大司馬主管軍事行政，大將軍或上大將軍為最高軍事統帥。不過孫權在位期間，軍政大權高度集中於皇帝手中，丞相沒有實權，由尚書令、中書令、侍中等參與軍事決策，協助皇帝處理軍政事務，因而尚書、中書二省為東吳皇帝統禦全國軍政的最高機構。
孫權死後，繼任者一般不再像孫權那樣經常直接統率與指揮軍隊作戰，而由大將軍掌握軍權。最高軍事統帥也同曹魏、蜀漢一樣，需加上“督中外諸軍事”或“領中外諸軍事”的職銜。東吳末年。權臣左右朝政，皇帝變成愧儡。如宗室孫峻即以“丞相、大將軍、督中外諸軍事”的身份，總攬東吳的軍政大權。
二、都督製的創立
都督製是曹魏在全國許多地區設置軍事轄區，委派都督作為軍事統帥的製度，是曹魏軍事領導體製的重要組成部分。都督製濫觴於留屯製（參看何茲全《魏晉的中軍》，《曆史語言研究所集刊》第17本）。
建安初期，曹操兵力並不雄厚，他直接統率軍隊南征北討。官渡之戰後，曹操相繼占領冀、青、幽、並諸州，逐步統一北方。與此同時，由於在兼並戰爭過程中大量收編北方各地的割據武裝與農民起義武裝，曹操擁有的軍力也大為增強。隨著統治區域和戰爭規模的擴大，曹操不可能再像過去那樣親自參加並直接指揮各次戰役。當派出幾支本來互不相屬的部隊參加同一戰役或駐守新占領的同一地區時，為了統一指揮，便臨時委派一名將領以都督的名義擔任主帥，總統諸軍。曹魏委派都督，最早見於建安三年(公元198年)，曹操命鍾繇“持節督關中諸軍”（《三國誌》卷13《魏誌·鍾繇傳》及同書卷21《衛凱傳》注引《魏書》）。
此後派遣都督日見增多。如建安十六年(公元211年)命曹仁率諸將拒撞關，破馬超於渭南，後又督7軍討田銀。建安二十一年(公元216年)派夏侯惇都督26軍，守居巢。大約到曹丕代漢稱帝前夕，委任都督己經製度化、經常化，“置都督諸軍，東南以備吳，西以備蜀，北以備胡，隨其資望輕重而加以征、鎮、安、平之號"（《資治通鑒》卷80《晉紀》武帝鹹寧五年胡三省注）。
黃初元年(公元220年)僅見於史傳的都督即有曹仁、曹休、夏侯尚、曹真、夏侯懋、吳質、臧霸等7人，各都督的轄區或為一州，或為數州，權限也不完全相同。曹魏前期曹氏掌權時，都督隻設置於荊、豫、揚、幽、冀、並、雍、涼、青、徐10州；曹魏後期司馬氏掌權時，腹心地區也設置都督，如都督兗州與督鄴城守。
曹魏的都督雖然駐守於地方，其身分仍是中央官員，並受中央的嚴格控製和監督，沒有皇帝的同意，不得擅自出兵和募兵，且經常調動，出鎮時家屬作為人質留在京城。都督的主要佐吏長史、司馬、參軍等，由中央委派。皇帝還派軍師為監軍，監視和節製都督的行動。曹魏推行的上述措施，對於加強中央集權，防止將帥擅兵，鞏固國家統一起過一定的積極作用。