在巴黎熱熱鬧鬧地過了10個月，1919年9月1日，馬歇爾隨潘興將軍凱旋美國。得勝回朝的將士們受到一片熱烈的歡迎之後，一切歸於平靜。馬歇爾戰時臨時上校被取消，仍當他的上尉。他留在了潘興手下任職，不久晉升為正式少校。這次晉升並未使他高興，隻是使他感慨，他當了整整18年的軍官，還隻是少校而已。
1921年8月，潘興將軍出任陸軍參謀長。馬歇爾作為首席助手隨他到華盛頓赴任。這次他又升了一級，領中校軍銜。1923年潘興任滿離職。馬歇爾決定到野戰部隊任職，以充實自己。1924年秋，他被派到美國駐中國天津的第15步兵團，任副團長。1926年底，他被任命為陸軍學院教官，返回華盛頓。1927年11月，他的妻子病逝。
本寧堡步校是美國陸軍最大的軍事學校，坐落在佐治亞州哥倫布市數英裏之外。馬歇爾是出色的教官，能夠三言兩語概括複雜的軍事問題。他對學員要求很嚴格。他督促他們，鼓舞他們，激發他們的熱情。從步校出來的許多出類拔萃的將領都把自己日後得以攀上軍階高峰歸功於馬歇爾。馬歇爾在步校建立了一個學員檔案，把他認為有才華的青年軍官的名字一一記在上麵。後來馬歇爾擔任陸軍參謀長之後，這個檔案便成了無價之寶，他常據此選派指揮官。
1932年底，馬歇爾調到斯克雷文堡帶兵，隨後又被任命為伊利諾斯州國民警衛師的師長。1936年8月，55歲的馬歇爾由中校正式晉升為準將。
1938年夏，馬歇爾準將被任命為陸軍部副部長。1939年9月1日，羅斯福總統任命馬歇爾為陸軍參謀長，正式授予他少將軍銜，暫領上將軍銜。他上任的第3天，9月3日，第二次世界大戰爆發。
第二次世界大戰爆發後，美國沒有馬上參戰。國內有人主張全力避免戰爭，有人主張積極參戰。馬歇爾將軍認為，無論願意與否，美國必然要卷入戰爭。而他作為陸軍參謀長，積極備戰更是責無旁貸。他支持羅斯福總統的援英戰略。他認為英國人是在為美國贏得準備時間。
1941年12月8日，日本襲擊珍珠港（參見珍珠港戰役），太平洋戰爭爆發，美國終於卷入戰爭。
珍珠港事件使許多軍隊領導人受到處分，但對馬歇爾的職位未造成影響。他受到質詢和責難，但沒人想到要撤換他，也不再有人對他就美國參戰的主導設想表示異議。
為了適應戰爭，馬歇爾上任不久便著手對軍隊進行了整頓。他提出一長串應當退役的軍官的名單。這些軍官並非無能，而是因為年事已高，思想大多囿於第一次世界大戰的經驗，甚至有人還用美西戰爭時期的方式思考問題。馬歇爾認為應該是吐故納新的時候了。他自己也提出要辭去職務，因為他與被自己開革的大多數軍官是同代人。他向總統明確表示，自己這個61歲的老人理應讓位給後來人，他們能更好地應付美國麵臨的挑戰。總統批準了馬歇爾所列的退伍軍官的名單，但堅決留住了馬歇爾。
馬歇爾需要精力充沛、年富力強的軍官填補空缺，但遍數全國各個駐地，這樣的軍官並不很多。這時馬歇爾的那個檔案發揮了作用。檔案裏又添了一些新名字。其中有年輕的上校艾森豪威爾。他在路易斯安那州的模擬戰中是第3軍參謀長，曾展現出卓越的策劃才能，大挫對手的銳氣。第3軍軍長克魯格將軍稱他“目光遠大，不拘陳規，對於軍一級指揮問題的重要性具有深刻了解，積極主動，足智多謀”。由於艾森豪維爾表現出色，克魯格建議給他晉級。馬歇爾觀看了路易斯安那州的演習，對艾森豪維爾印象至深。回華盛頓後，他立即保薦艾森豪維爾升任準將，並將他調到自己的作戰處任副處長。
巴頓在馬歇爾的檔案上也榜上有名。馬歇爾對他的評語是：“喬治帶兵所向無敵，無往不勝。但要緊緊勒住他的籠頭。”1941年馬歇爾讓他指揮了一個裝甲軍團。後來巴頓帶兵打仗，屢立戰功。