作為一個國家政權的基本組成部分，軍隊一直在國家生活中起著舉足輕重的作用。然而，究竟我國是從什麼時候開始建有軍隊的？這個問題卻一直沒有定論。
史書記載中最早的說法是在上古的神農時期。唐代杜佑編撰的《通典》第一百四十八卷記載：“三皇無為天下以治，五帝行教兵由是興。所謂大刑用甲兵而陳諸原野。於是有補遂（有的書作斧遂，傳說中的古代部落）之戰，阪泉之師。”銀雀山漢墓出土的《孫臏兵法》“見威王”一段中也有“神農戰斧遂”的記載。這些記載說明在神農時期已建有軍隊，而且還因斧遂對神農不臣服，神農領兵去討伐。
然而，有人對此提出質疑，認為神農時期屬於原始社會，那時還沒有階級，沒有國家。從當時的社會生產力看，似乎也不具備建立軍隊的條件。當然也不排斥部落中有少數從事軍事工作的人員。神農伐斧遂隻是古代的傳說，很可能隻是一次部落衝突（戰爭）。
根據第二種說法，最初的軍隊出現在原始社會末期，也就是公元前二十六至前二十二世紀黃帝時期。漢代司馬遷撰寫的《史記·五帝本紀》記載：“炎帝欲侵陵諸侯，諸侯鹹歸軒轅。軒轅乃修德振兵，……與炎帝戰於皈泉之野。……蚩尤作亂，不用帝命，於是黃帝乃征師諸侯，與蚩尤戰於涿鹿之野。”以上這段文字中“修德振兵”的“兵”，指的就是軍隊。“征師諸侯”的“師”，指的也是軍隊，是從諸侯那裏征調來的。這段文字說明，不僅黃帝有軍隊，而且諸侯也有軍隊。
司馬遷的《史記·五帝本紀》是根據先秦古籍中的有關傳說編寫的，雖然作者查閱了大量先秦古籍，並進行了調查研究，揚棄了“神農伐斧遂”的傳說，仍難免有情況不確之處。因此，軍隊最早出現於原始社會末期的說法也難以令人真正信服。
第三種說法是：公元前21世紀，我國第一個奴隸主專政的王朝——夏朝的建立才建有軍隊。《尚書·甘誓》記述了夏帝啟與有扈氏“大戰於甘”。戰前，帝啟召集了六軍的統領——六卿，進行了動員。《史記·夏本紀》也有記載：“有扈氏不服，啟伐之，大戰於甘。將戰，作甘誓，乃召六卿申之。”
夏朝被學者們作為奴隸主社會的起點，從國家學說的角度看，奴隸主貴族為了統治奴隸階級及平民，開始建立軍隊，製定刑法，修造監獄。這似乎是合情合理的。但是，夏朝的曆史基本都是根據古代傳說整理的，並且《尚書·甘誓》這篇文章也存在一定的爭議，有人認為它是根據傳說而寫的，還有人認為它是後人假托之作，因此並不能作為確切的史料證據。
此外，還有第四種觀點：最早的軍隊出現在殷商時代。在公元前16至前12世紀的殷代，從河南安陽殷墟出土的甲骨文中已有“戈”（國）字，字意是用武力保衛人口，這個武力意味著是軍隊。甲骨文還記述了商代的軍隊，由徒兵和車兵組成，師是最大的、固定的編製單位，每個師約有一萬人。軍隊使用銅製兵器，采用十進製編組，有百人團體和千人團體。車兵使用的戰車，編有駕馬兩匹或四匹。車上有甲士三人，一人禦車，一人持戈矛，一人操弓箭。車後跟隨徒卒。從這些資料看，商代的軍隊無論在數量上、組織裝備上還是作戰方式上都已達到了一定的水平。顯然，根據事物由低級向高級發展的規律，商朝的軍隊也應該經曆了一個逐漸發展成熟的過程。那麼，它最初的形式是什麼樣的呢？最早究竟出現於何時？這些我們都不得而知。
以上就是關於我國最早開始建立軍隊的4種說法，究竟哪一種說法才真正符合曆史的真相，我們還要等待考古發掘和研究的新發現。