州以下政權的演化過程，與中央相比，顯然要緩慢得多。整個十六國時期，郡縣製並沒有推行於全國，許多國家在邊疆少數民族地區，仍普遍實行著政權同族權合一的製度，城主、鎮將、渠帥、豪酋、大人的稱號，均予以保留。他們既是少數民族的首領，又是當地的軍政長官。
十六國時期的幾個主要政權的創立者，大都是北方以遊牧為主的少數民族。弓馬騎射，是其專長。他們在建立政權前的部落兵時期，一般隻有單一的騎兵，後來隨著戰爭的擴大，在逐鹿中原時，需要攻城掠地，僅靠騎兵已不能適應新的要求，於是步兵便逐漸發展起來，成為陸軍中的重要力量，且在數量上超過了騎兵。不過從戰鬥力和在戰爭中所起的作用來說，騎兵始終占居著主要地位，這從當時的不少戰例中可以反映出來。永嘉二年（308），劉淵遣劉聰、王彌、劉曜等率精騎5萬進攻洛陽，另派呼延翼率步卒繼之，將晉軍打敗，顯然騎兵是進攻的主力。後趙的石虎同鮮卑族的鬱粥在離石交戰，隻動用了3萬騎兵，而無其它軍種參加。秦晉淝水之戰，苻堅動用騎兵達27萬。足見當時各國的騎兵，不僅數量相當強大，而且經常作為戰鬥的主力。
十六國時期，也出現過動用舟師作戰的記載，但當時的諸政權，並沒能建立起獨立的水軍。如後趙的石虎攻遼河流域的鮮卑段氏，“以桃豹為橫海將軍，王華為渡遼將軍，統舟師十萬出漂渝津”。但這並不能說明後趙有一支單獨編製、自成體係的水軍，實際上這裏的舟師，隻不過是用陸軍參加水戰而已。正由於缺乏訓練有素的水手，結果“船夫十七萬，為水所沒、猛獸所害，三分而一。”再如，東晉將領諸葛攸率水陸3萬人討伐前燕的慕容亻雋，慕容亻雋的應戰部隊隻有慕容評和傅顏統領的5萬步騎，而並無水師出戰。苻堅淝水之戰中，雖用船隻從水路運送了大量的兵馬糧秣，但部隊中並無水軍的建製。
十六國時期，幾個主要政權的兵力總數，前後趙大約在30萬左右，前蒸有40萬，前秦的兵力，最多時可能達到60萬左右。這些數字，看起來很大，但由於當時各國的實力經常變動，地方勢力也時強時弱，時叛時服，所以，前述的數字，並不精確。不過據此可以看出，這幾個政權的軍事力量還是相當強大的。
諸胡政權的軍隊編製，既沿襲了魏晉的一些製度，也有自己的特點。魏晉時代，軍隊有中、外軍之分；十六國時期，由於戰爭連年不止，疆域又經常變化，所以中外軍的界限，往往不是以軍隊的駐地為區分標準，而是以同皇帝的親疏關係和統禦係統來區分。大體的情況是：凡以本部族兵為主組成的部隊，都屬中軍。其中一部分由皇帝親自領導和指揮，稱禁衛軍，他們多屬皇族的本部族成員，是皇帝的親軍，名稱有左右衛、左右禁、羽林騎、親禦郎等。另外，守衛太子東宮的衛士，也屬禁衛軍，名曰東宮衛士或高力。禁衛軍的任務是，平時護衛宮室，充當皇帝和太子的侍衛，戰時則跟隨皇帝出征。有時朝廷也抽調一部分禁衛軍，由皇帝的親信統領。如前秦主苻堅，曾派驃騎將軍張蠔率羽林騎五千戍並州。禁衛軍的地位比一般士兵高。後趙的禁衛軍被任為龍騰中郎，前秦拜為羽林騎，都是軍官待遇。禁衛軍是經過專門篩選的，戰鬥力極強，是中軍的精華，他們掌握在最高統治者手中，對穩定政局具有重要作用。禁衛軍以外的中軍，也負有保衛京師的任務，由都督中軍、中軍將軍、衛將軍等統領。這些職務，多由宗室大臣或皇帝的親信擔任。
外軍，也屬中央軍，為中央的派出部隊，由中央委派到各地的持節都督或城主、鎮將、護軍等統領。他們由於長駐於外地，有機會招兵買馬，築城修堡，發展個人的勢力，遇到機會，就有可能變成割據一方的力量。
僅次於外軍的是州郡兵。州郡兵本屆地方武裝力量，由州刺史或郡太守統領，以維持地方治安為要務，有時也應調出征。
私人武裝力量強盛，是這一時期的重要特點。興起於東漢末年的豪強勢力，在西晉的“八王之亂”後，有了迅速的發展，到了十六國時期，更出現了塢堡林立的局麵。凡有勢力的地方豪強，無不結堡自衛，每個塢堡主，都有數量不等的部曲，家兵。因政局動亂，各政權無力控製，有些塢堡就變成一種具有半獨立性的軍事實體，能直接參與軍事鬥爭。如淝水之戰後，苻堅的力量孤弱，時關中諸壁壘3000餘所，皆遣兵負糧以助苻堅。西晉末年，地處長江以北，黃河以南的徐、兗一帶，塢堡林立，各不相屬。後來祖逖北伐時，曾依靠當地的塢堡主共抗北方的石勒，屢屢取勝，說明其軍事力量也相當可觀。當這些塢堡主歸服於某個政權後，往往被任命為地方行政長官或統軍將領，原有的私人部曲，仍歸其統領，但已納入國家的軍事係統，變成外軍。