能夠在夏威夷工作，可以說是巴頓的夢想。他也很高興在老朋友休·德拉姆手下盡職，並有機會再次與迪林海姆及其他夏威夷的名流相聚，但這次給他的職務又是情報處長，使他又回到參謀軍官的位置上。他認為，擔任參謀軍官對於軍人來說，等於走入了死胡同。
麵對這些紛雜的事情，已經年過半百的巴頓，眼看在軍界前途渺茫，沒有辦法證實自己的能力與水平，他常常變得很消沉，而且脾氣也變得越來越壞，常常過量地飲酒，並加入了當地的所謂“放蕩公司”。
對於巴頓的這種變化，妻子和孩子都難以接受，常常為此而展開討論，慢慢地家庭生活開始出現了裂痕。爭吵的日子漸漸增多。在困惑之中，巴頓常常認真地考慮退出軍界或退休的問題。
根據德拉姆的指示，巴頓擬定了一項“確保內部安全與審查”的計劃。巴頓本就對日本人的野心存有疑慮，為夏威夷的防衛問題以備日美戰爭爆發後，防止日本僑民可能進行的顛覆活動，所以他及其認真地製定了計劃。計劃中規定：一旦日本和美國發生戰爭，立即“逮捕和拘留一些日本人……因為他們有害於美國的利益，”還他列舉了應逮捕人的姓名與地址，這是他特意安排人查詢到的資料。這份非正式的文件也反映了巴頓的種族偏見，巴頓一貫是以蔑視和懷疑的眼光看待不同種族的外來移民，在他看來，日本人永遠是外族人，即使加入了美國國籍，也算不上是純正的美國人。
太平洋、夏威夷一直是巴頓注意的地方，他認為，日本人對珍珠港發動襲擊既是潛在的危險又是很可能發生的事。閑暇的時候，他就會對其進行研究，因此他還撰寫了一篇名為“美國在太平洋地區的防禦”，文中論述了美國在太平洋的地位，並特別指出夏威夷的重要性。他還預言並預言，一旦日本襲擊珍珠港，對美國來說將是災難性的打擊。
不出他所料再1941年12月7日清晨，日本皇家海軍的飛機和微型潛艇突然襲擊美國海軍基地珍珠港以及美國陸軍和海軍在夏威夷歐胡島上的飛機場。這次襲擊最終將美國卷入了第二次世界大戰，美國為此蒙受了慘重的損失。這使很多要人感到遺憾，如果他們能重視巴頓當時的預言，可能珍珠港事件就不會發生，即使發生了，損失也不會這麼慘重。
為了彌補精神上的空虛，巴頓依然狂熱地參加各種體育鍛煉項目。但由於脾氣暴躁和年齡等原因，在馬球賽中發生了幾次意外。
在1935年8月舉行的全島冠軍賽中。當時由迪林海姆率領的瓦胡島隊與巴頓率領的陸軍隊進行交鋒。雖然這一天天氣很炎熱，可是大家卻沒有受此影響，情緒激昂，比賽進行得緊張而又激烈。當比賽進行到高潮時，迪林海姆的馬不巧撞了一下巴頓的馬，向來脾氣暴躁的巴頓，很難忍受，便憤怒地大聲罵道：“該死的，沃爾特，你這個混蛋，我要一直把你追趕到大街上去。”
因為巴頓的聲音較為洪亮，吼聲太大了，觀眾席上聽得清清楚楚。他的上司德拉姆怕引起不必要的糾紛，在這一輪比賽結束後，宣布撤銷巴頓的隊長職務，並禁止他參賽。但當時賽場上的局麵卻很尷尬，迪林海姆和毛伊島隊隊長來到德拉姆麵前，質問他，並大聲叫道：“喂，將軍，我們根本沒有聽到什麼不得體的話。如果喬治不能參賽了，我們將取消比賽。”這一最後通牒使德拉姆進退兩難，最後被迫召回巴頓，比賽才得以繼續進行。賽後，球友們送給他一個綽號——“調皮蛋”。
還有一次比賽，巴頓從馬上重重地摔了下來，半天沒有動靜，大家都以為他受了重傷，可是等他起來後，像什麼也沒發生一樣繼續上馬比賽。經過幾天的休息，在他和家人一起外出劃船時，他的頭突然感到疼痛難忍。根據醫生的診斷，他被摔成了腦震蕩。
1937年6月，巴頓已經年近52周歲了，在任職期滿後他自己開著遊艇，帶著全家人返回加州。這個時期，雖然他精力依然很充沛，朝氣勃勃，但在軍隊中已幹了27年，卻仍然是一個中校，事業上舉步維艱，沒有任何起色。