唐朝軍隊的編成主要來源於府兵，簡單的說就是在各地設立幕兵係統，招幕軍士，訓練成軍。
貞觀十年，唐太宗李世民整頓府兵製，軍府更名為折衝府後，唐朝全國疆域中折衝府當時最多時就已有六百三十三個之多！
除此之外，大唐軍隊主要成建製的作戰集團即為中央軍和藩鎮軍。
大唐的藩鎮軍常年保持在五十萬上下的人數規模。而藩鎮軍的兵員除了國家輸送，也有自行招幕的權利。所以一些偏遠的邊疆區域，不僅軍隊中有許多的少數民族士兵，就連領軍的將領也不乏少數民族。而唐軍軍事力量高鋒時期，全國的總兵力也是接近百萬了。
而唐代的中央官署的統稱即為南衙，地處宮城之南，稱為南衙或南司，十六衛府屬南衙，由宰相負責，文臣主兵事，南衙衛士一般由各折衝府番上；
而這十六衛主要就是：其中左右衛、左右驍衛、左右武衛、左右威衛、左右領軍衛和左右金吾衛這十二衛統率折衝府兵；而左右監門衛和左右千牛衛不領外府折衝、而隻率領部分內府府兵。
其中，左右衛即為名義的各衛總領，這一點是承襲於西晉以來的製度，即左右衛將軍總領禁兵。左右衛各領六十折衝府，其他十衛各領四十到五十折衝府。
不過在唐朝，南衙軍隊中的千牛衛也是禁軍，他們不掌控府兵，掌供禦弓箭和宿衛侍從。千牛衛大將軍就是禁軍的頭領。
其中設上將軍一人，大將軍一人，將軍二人，掌管侍衛及供禦兵仗。以千牛刀備身左右執弓箭宿衛，以主仗守戎器。
皇帝上朝時，千牛衛士兵持禦刀立於宮殿兩側；皇帝狩獵時，千牛衛通常跟隨；千牛刀備身左右以及持禦刀列宮殿兩側的千牛衛士兵，由上將軍統領，中郎將為大將軍的輔佐，掌管供奉侍衛，負責宣告大將軍指令。
至於北衙，又被稱作北司，則是羽林親軍等禁兵的官衙！
這批部隊在唐代都是由皇帝身邊最最親信的臣子負責的，武臣主兵事，北衙禁兵一般為皇帝、太子親兵。
有時候，南北衙兵將也會對調、互兼官職。
其實在唐朝初創時，除了“南衙”的十六衛府兵以外，直屬皇帝私人的部隊“北衙軍”還沒有完全成型。
最早的雛形，應該是來源於當年跟從高祖李淵太原起事的三萬部隊。這些部隊與唐皇室出生入死，立下赫赫戰功，不僅忠誠，而且戰鬥力很強。
唐朝初定天下，定都長安後，朝廷對這些部隊重禮優待，大部分被賜予關中地區的肥沃糧田，解甲歸田了。
一小部分則編成了唐天子手中的近衛部隊，號稱“元從禁軍”，並屯駐於宮城北玄武門外，此後即子承父業、代代相傳，成為“父子兵”。
太宗貞觀初年，唐太宗從“元從禁軍”中選取善騎射的衛士百人，分兩番輪流在宮城北門玄武門宿衛，並且穿虎皮衣、騎屬於皇家閑廄的六色駁馬，跟從太宗田獵、演武，並賜以軍號“百騎”。
這支部隊長期屯駐在北門，不同於輪流番上的外地府兵，因此也被稱為“北門長上”，“長上”對應於“番上”，是長期宿衛而不是輪流宿衛。
到了貞觀十二年，太宗又選取有材勇的衛士置左右屯營於玄武門，稱為“北衙屯營”，隸屬於南衙十六衛中的左右屯衛，即為後來改名後的左右威衛，並名義上以諸衛將軍領軍，軍號為“飛騎”。