軍隊是一個組織，出於自身防衛的需要而組建的用武器裝備起來的人與動物和機器的總稱。針對國家而言，軍隊對內用以維護統治階級的利益，對外有震懾他國、保衛領土、對外擴張的作用，由國家統治階級建立、維持和控製。而曆史上，關於中國軍隊的起源問題，一直沒有定論。
關於中國軍隊的起源問題，當前主要有以下幾種看法。
一種記載是神農伐斧遂說。史書記載中最早的說法是在上古的神農時期。唐代杜佑編撰的《通典》第一百四十八卷記載：“三皇無為天下以治，五帝行教兵由是興。所謂大刑用甲兵而陳諸原野。於是有補遂（有的書作斧遂，傳說中的古代部落）之戰，阪泉之師。”銀雀山漢墓出土的孫臏兵法“見威王”一段中的“神戎伐斧遂”的記載，南宋羅泌在路史後記三中改為神農伐斧遂，《中國軍事史一曆代戰爭年表》裏也收錄了這場戰爭，以此為據，因此有人認定上古神農時期已有軍隊，而且還因斧遂對神農不臣服，神農領兵去討伐，但許多人認為神農用於討伐不臣的斧遂的部隊可能不是真正的軍隊，神農伐斧遂也許是古代的傳說，很可能是一次部落衝突（戰爭）。因為那時還沒有階級，沒有國家。從當時的社會生產力來說，要養一支常規的軍隊不太可能，所以這支部隊應該是神農氏臨時征召部落成員臨時組織的部隊來應付此次部落衝突。當然，在當時部落裏出現少數兼職軍事工作人員是完全有條件的，但要建立一支專門用於衝突的軍隊卻不太實際。隻是由於缺乏當時的文字記載，無法進一步考證。
另一種記載是阪泉逐鹿之戰說。在原始社會末期，漢代司馬遷撰寫的《史記·五帝本紀》記載：“於是軒轅乃習用幹戈，以征不享，諸侯成來賓從。而蚩尤最為暴，莫能伐。炎帝欲侵陵諸侯，諸侯鹹歸軒轅。軒轅乃修德振兵……與炎帝戰於阪泉之野。三戰，然後得其誌。蚩尤作亂，不用帝命。於是黃帝乃征師諸侯，與蚩尤戰於涿鹿之野，遂禽殺蚩尤。”以上這段文字中“修德振兵”的“兵”，指的就是軍隊。“征師諸侯”的“師”，指的也是軍隊，是從諸侯那裏征調來的。這段文字說明，不僅皇帝有軍隊，而且諸侯也有軍隊，由於“軒轅之時，神農氏世衰”，各部落不聽天子號令，衝突不斷，因此各自建立軍隊來維護自己的利益。上段文字有幾個乃字，乃：才也，以此判斷此時軒轅氏依然是臨時組兵，但是根據“習用幹戈”和“修德振兵”可知軒轅氏已經開始注意進行平時的操練和整頓了。所以到這時雖然真正的軍隊還沒有正式建立，但軒轅氏已經有意識和計劃開始建立一支軍隊。明代編纂的《永樂大典》也把它收在八千二百七十五卷中。但是大家認為《史記·五帝本紀》是根據先秦古籍中的有關傳說編寫的，雖然作者查閱了大量的先秦古籍，並進行了調查研究，揚棄了“神農伐斧遂”，仍難免有情況不確之處。所以現行的許多曆史書上，在記述曆史上的軍隊時，也沒有吸收這一觀點。