金朝初期實行的是一種全民皆兵的製度，“諸部之民，無它徭役，壯者皆兵，平居則聽以佃漁射獵習為勞事，有警則下令部內，及遣使詣諸孛堇（女真語，部長之意）征兵，凡步騎之仗糗皆取備焉”。金入主中原後，這種義務兵的征選製度逐漸被簽軍與募軍製度代替。簽軍實際上是強迫征兵，主要對象是金統治區的漢族人民，“有事則簽取於民，事已則或亦放免。”募軍則是采用漢族選募之製，國家以雇傭的形式招募兵員補充部隊。金的侍衛親軍、射糧軍均為選募。
金朝軍事組織的特點是實行猛安謀克製度。猛安相當於千夫長，謀克相當於百夫長。這本是氏族社會的一種職稱（猛安是部落軍事首長，謀克是氏族長），在阿骨打以前早已存在。阿骨打把它製度化，作為固定的軍製。規定300戶為謀克，10謀克為猛安。對於歸附的諸部，一律用猛安謀克之名稱其首領，把諸部人民編入其中。這就使金軍組織嚴密、號令統一、戰鬥力加強。由於金實行的是兵民合一製度，因此猛安謀克也是地方行政組織。在滅遼戰爭中，曾把猛安謀克製度推行於遼朝境內的漢人居住區，遭到漢人反對而停止。在對遼宋的作戰中，猛安謀克製度曾起過重要作用。到金中期，猛安謀克逐漸瓦解，到金後期則已名存實亡，最後，金朝不得不靠組織虯軍、忠孝軍，來應付戰爭的需要。
金朝的軍隊名目繁多。以民族分類，有女真軍、契丹軍、渤海軍、奚軍、漢軍及軍（各部族雜軍）等；以軍隊擔負的職責和任務分類，則有侍衛親軍、鎮防軍、屯戍軍（含永屯軍和驅軍）、屯田軍、效節軍、射糧軍、牢城軍、防城軍、忠孝軍、忠義軍、長勝軍等，忠孝、忠義、長勝等軍都是臨時組織的軍隊；以兵種分類，則有騎兵、步軍、水軍、炮軍等。金以騎兵為主，一騎多馬，戰鬥力較強；水軍規模不小，但戰鬥力較弱，炮兵除使用冷兵器外，還使用火炮、鐵火炮、飛火炮等火器作戰。
金朝設置的最高軍事機構是都元帥府，掌握全國的軍事大權，下設都元帥和左、右副元帥各一員，由諳班（女真語義為“大”）勃極烈（女真語義為“部長”）和勃極烈擔任。各路設軍帥司或都統司，由都統統領本路軍隊，隸屬都元帥府。金熙宗（完顏直，1119～1150）時，中央軍事機構沒有變化，地方則依遼、宋舊製設路、府、州、縣四級，各路設兵馬都總管統領軍兵，路治所在地稱總管府，各州刺史、節度使統領軍兵，兼管政事。到海陵王時，中央廢除了都元帥府，仿漢製設樞密院，由朝廷任命樞密使、副使掌握全國軍事。