此時，歐戰勝利了，希特勒死了，納粹軍隊投降了，馬歇爾終於可以鬆一口氣了。他一心想卸下參謀長的重任。好像為了提醒他解甲歸田的時候即將來臨。波茨坦會議期間有人捎來一籃子土豆、萵苣、胡蘿卜、蠶豆、卷心菜，都是來自弗吉尼亞州多多納家裏菜園的東西，這是他後婚的妻子凱瑟琳給丈夫的明顯暗示：現在是他回家種花務農的時候了。
但是，對日戰爭還沒有結束，馬歇爾還不能休息。又過了3個多月，到8月，在中國、美國、蘇聯和其他各國的共同打擊下，日本被徹底打敗了。8月15日，日本天皇在電台上親自宣讀了《停戰詔書》，宣布無條件投降。美軍占領了日本。9月2日，在停泊於東京灣的美國“密蘇裏”號戰列艦上舉行了日本投降簽字的儀式。
第二次世界大戰結束了。
這年夏天英國首相丘吉爾給馬歇爾將軍寫了一封信，對他在這場戰爭中所做的貢獻給予了高度讚揚：“你之所以能夠統率這支浩蕩大軍，絕非偶然。是你，受命於危難，起而創建這支軍隊，組織這支軍隊，激勵這支軍隊。由於你領導有方，不消多日，部隊就建立起來，日臻完善，終於橫掃法德全境。你不僅創建了野戰大軍及輔助部隊，還造就了大批指揮人才，他們駕馭現代化兵種和軍團的龐大有機體，迂回轉戰，以無比的速度調遣運動，幾乎是哪裏需要，哪裏就湧現出這樣的指揮官……這些年來，足下的勇氣和精力在我心中激起的尊敬和，景仰正與日俱增，你的所作所為對於與你共患難的同誌，真是一種絕大的安慰，而且請不要忘記，我本人也希望是其中的一員。”
1945年8月20日，馬歇爾給杜魯門總統寫信要求卸任：“現在戰爭已經結束，軍隊正積極複員，有關削減軍備生產的重大軍事決策已經作出，戰後軍事計劃也進入相當深入的階段，現在我覺得，我可以心安理得地要求辭去參謀長這個職務了。”馬歇爾信中還寫道，“我在陸軍部服務7年有餘，其中6年任參謀長，深知任務之艱辛繁重，如能獲得解脫，則幸甚矣。”最後馬歇爾提名艾森豪維爾繼任參謀長。
杜魯門總統考慮了一些時候，終於接受了馬歇爾的辭呈，但要求他幹到秋天。
1945年11月，總統在白宮為馬歇爾舉行了告別儀式，在他佩戴的軍功章旁邊添上一簇橡樹葉章。總統親自宣讀了嘉獎令：“在這場就規模和恐怖程度而言都是史無前例的戰爭中，數百萬美國公民曾為祖國立下了殊勳，而五星上將喬治·卡·馬歇爾奉獻的則是勝利……他的品格、作為、效率鼓舞了全軍、全國、全世界。美國之得有明日，實有賴於馬歇爾和千百萬人民。他於世間大將軍行列中卓立前茅。”
儀式結束後，杜魯門總統把馬歇爾拉到一邊，祝他退休生活安適，愉快長壽，還保證說：“將軍，你已經為國家做了這麼多的事情，我不會在你退休以後再來打擾你的，你該好好休息一下了。”
但是杜魯門總統食言了。10天後，他給馬歇爾打了電話：“將軍，你願意為我到中國跑一趟嗎？”
1945年12月，馬歇爾作為駐華特使抵上海，負責“調處”國民黨與共產黨的關係。1946年11月軍調失敗，他返回美國。
1947年1月，他出任國務卿，6月提出“歐洲複興計劃”，人稱“馬歇爾計劃”。1949年1月辭去國務卿職務。1950年9月至1951年9月任國防部長。1953年獲諾貝爾和平獎。
1959年10月16日馬歇爾病逝。全美國舉哀一日。他留有遺言：“簡葬我，一如軍中忠誠為國之尋常將士。切忌鋪張。典式毋盛。追悼會宜簡，到場隻限族親，尤須悄然為之。”葬禮按其遺言進行。其肅穆、簡樸，有序無嘩，宛若喬治·卡特利特·馬歇爾生平指揮作戰之狀。
這位為打敗法西斯建立了豐功偉績的一代英才靜靜地長眠於阿林頓公墓。