1920年6月，國會通過《國防法案》，規定陸軍定額是28萬人。兩年後，更猛減至12.5萬人。令巴頓最為傷心的是，坦克兵失去了存在的法律根據。該法案規定坦克兵配屬於步兵，不再作為獨立的兵種存在。《國防法案》還規定，坦克兵以連為單位配屬步兵，每個步兵師配屬一個坦克連，由步兵司令統一指揮。1920年全年坦克經費僅有500美元。
國會之所以取消坦克兵的建製，除了經費短缺之外，主要是因為受坦克兵司令羅肯巴赫落後的理論的影響。他認為，坦克對“每一個兵種都有巨大的價值”，“坦克應大量使用，否則就幹脆不用”。這一提法含混不清，似乎無可厚非，但是他卻忽視了坦克突破敵人陣地、向敵縱深發展進攻的強大突擊力和機動力，也掩蓋了這一新兵種的巨大發展前途。這一理論在二三十年代的美國頗為流行，從而對美國坦克的發展帶來了消極的影響。
巴頓曾千方百計地找軍界有影響的朋友幫忙，請求他們支持保留獨立的坦克兵。但一切努力都無濟於事，就連老上司潘興對此也不感興趣，令他大為失望。他認為即使撤銷坦克兵的建製，也不應該將它編入步兵而應編入騎兵。如果把坦克編入騎兵部隊，那麼它受到的限製將更少，以便充分發揮其機動力和潛在的突擊力。顯而易見，將坦克編入騎兵部隊的想法並不科學，它反映了巴頓對步兵的偏見。但將坦克編入步兵確實對美國坦克兵的發展產生了極其不利的影響。
巴頓別無選擇，隻有離開坦克部隊。他沒有進入步兵，而是重新參加騎兵，其原因是多方麵的：首先，在步兵部隊幾乎沒有晉升的機會，因為他在步兵中認識的人很少。他的朋友，包括不久將接任陸軍參謀長的潘興將軍，都集中在騎兵部隊。其次，騎兵生活與巴頓的性格特征和愛好十分相投，他喜歡騎兵的生活與樂趣，喜歡馬球、賽馬、馬展和遊獵等。巴頓之所以選擇了騎兵還有一個他不願啟齒的重要原因：他希望美國的下一個對手是墨西哥。在墨西哥原始的道路上，坦克將無用武之地，而戰馬受地形、氣候影響較小，可以充分施展其快速、勇猛的特點。
當然，在米德堡結識的新朋友、未來的老板艾森豪威爾的去留對他也產生了一定的作用。艾森豪威爾當時也決定離開坦克部隊，另謀出路。
離開自己親手創建的坦克兵無疑是一種巨大的痛苦。作為坦克兵的創建人，巴頓帶領他們衝鋒陷陣、無堅不摧，取得了輝煌的成就。他對坦克的未來充滿信心並胸有宏圖，確實舍不得離開。臨走前，他向官兵們發表了感人肺腑的演講，他情緒激動，熱淚盈眶。官兵們對他也依依不舍，因為他給了他們信心、力量和鼓勵，他是他們的榜樣和驕傲。巴頓在演說中指出：“坦克部隊有我的心血和希望，我堅信它是不會衰亡的。總有一天，我還要與它重聚，我的生命和榮譽全都與它息息相連。”
1920年夏天，他終於揮淚告別了坦克兵，重返騎兵部隊。但他對坦克的價值和前途仍堅信不疑，私下裏繼續與克裏斯蒂合作，並一直在陸軍坦克委員會兼職，為坦克辯護，關心這個新兵種的發展。他對未來機械化戰爭的爭論一直十分關注。
四、和平時期
離開米德堡，巴頓回到闊別多年的第二故鄉邁爾堡。邁爾堡位於弗吉尼亞州，緊靠首都華盛頓。原叫惠普爾堡，1881年為紀念美國內戰中聯邦軍通信兵司令阿爾伯特·邁爾將軍而改名邁爾堡。它占地304英畝，那裏駐紮著一支首都衛戍部隊。這支部隊平常保持戰備狀態，但其任務並不是保衛華盛頓，而是為華盛頓舉行的各種慶典提供軍事人員。他們住在一排排嶄新的磚房裏，環境幽雅，綠樹成蔭，四周是茵茵的草坪。巴頓非常喜愛這座軍營，它靠近首都，擁有美國陸軍最好的馬術設備，包括一座巨大的跑馬廳，一年四季都可以進行馬術訓練和各種馬賽。
因此，在之後的七八年裏，雖然他經過多次調任，可是卻沒有離開過邁爾堡。他還在各種軍校深造，有的職務與他的專長相距甚遠。雖然如此，他仍以充沛的精力和飽滿的熱情將每一項工作都幹得有聲有色——專心致誌地指揮操練，兢兢業業地埋頭卷宗，孜孜不倦地學習軍事業務。
巴頓的事業似乎也與邁爾堡有著一種不解之緣。1911年冬，他的仕途是從這裏起步的。1920年與坦克兵分手後，他又回到這裏。