西點軍校的正式名稱為美國陸軍軍官學校，其目標是培養陸軍初級軍官。該校位於紐約市以北約50英裏處的哈得遜河西岸，屬於紐約州奧蘭沿縣。此地原為英國軍事哨所，是控製哈得遜河航道的戰略要點，美國獨立戰爭中被美軍於1778年1月20日占領，此後一直是軍事用地。1802年7月4日，美國國會通過法案，正式確定在此建立美國陸軍軍官學校。西點軍校號稱“美國將軍的搖籃”。進入西點軍校是美國許許多多熱血青年的誌向。
而今夢寐以求的西點夢終於在巴頓手中實現了。巴頓興奮得不可抑製。回顧在弗吉尼亞軍事學院一年的軍校生活，弗吉尼亞軍事學院的南方特色、同學之間情深意篤和安妮姑姑的體貼照顧，一切都令巴頓難以忘懷。
1904年6月，不滿19歲的巴頓在父親的陪同下來到西點軍校報到，開始了新的生活。在最初的日子裏，巴頓對這裏的一切都感到新奇：餐廳裏桌布幾乎每天一換，到處窗明幾淨、一塵不染，大家都循規蹈矩，一切都如在弗吉尼亞軍事學院一樣，是嚴格的軍事化。但是不久他就覺察到，這裏並沒有他所欣賞的那種南方紳士氣派，許多學員的出身並不高貴，充其量屬於“中產階級家庭”，沒有超凡脫俗的“遠大誌向”。而他則不同，巴頓認為“我屬於一個可能快要滅亡或者從來就沒有存在過的階級，與那些懶散、聲稱愛國而又愛好和平的軍人之間差距甚大，如同天堂與地獄之別”。從剛入學起，巴頓就決心以不同凡響的麵貌出現，為成為一名震撼世界的軍人而奮鬥。
入校以後，巴頓即為自己確定了初期目標：在學年末能當上一名下士學員。但是不久他就遇到了困難，他的文化課一直跟不上趟。這顯然與小時候患的“閱讀失常症”有關，為此從童年到西點軍校巴頓付出了巨大的努力，但成績仍不理想，這始終成為困擾他的一個問題。看到那些輕輕鬆鬆上課、複習就能拿到高分的同學，他既羨慕，又妒忌。因為他經常要在課下付出超過常人幾倍的努力去複習功課，但成績始終不佳。巴頓一度喪失了自信心，他懷疑自己的潛力，感到自己浪費了生命。在給比阿特麗絲的信中充斥的滿是頹唐、矛盾的心情。他稱自己是“一個平凡、懶惰、愚笨而又雄心勃勃的幻想家”。
在這一時刻給予巴頓勇氣和力量的還是他的父母和親人，他們理解兒子的苦衷，也了解他的性格，知道他盡了全力。父親經常來信鼓勵他。他告訴兒子，一個人隻要盡了最大努力，不管結果如何，都算是贏家，是強者。安妮姑姑一年的大部分時間都住在西點，隨時給他以關心、幫助和支持。母親和尼塔也經常來看望他。他們要讓他知道：不管校方如何評估他的表現，而他絕不會失去親人的愛。
西點軍校第一學年即開設隊列訓練課。巴頓對於這門課程十分重視。他認為隊列訓練最能體現軍人的氣質，培養軍人良好的軍姿和頑強的意誌。而且隊列成績的好壞直接與學員的軍銜有關。據他的同學戈塞爾斯回憶說：“隊列訓練每星期六進行一次，可巴頓常常在星期天下午就苦練下一課。等到下個星期六時，他的動作已完美無缺了。我曾對巴頓說：‘喬治，隊列訓練在畢業成績中隻記15分，而數學卻有200分。你的數學已經很差了。如果你把用於準備隊列訓練的時間拿出80%來攻一攻數學，你不但仍可通過隊列的考試，而且數學成績也會跟上去。’巴頓不為所動，依然如故。”
結果，第一學年結束時，巴頓雖然隊列成績名列第二，但數學為全班倒數第一，法語成績也很不理想。校方雖然對他的頑強意誌和刻苦精神給予了肯定，承認他軍姿優美、勇敢剛毅，但還是決定讓他留級。
這是巴頓平生遇到的第一個大挫折。他沉溺在自己創造的世界裏。他希望得到別人的理解和愛戴。但是，他內心深處又有一種奇怪的恐懼感。一旦得到別人的諒解和愛戴，他又想逃避或躲開。同學們來安慰他，他總是以粗暴的態度和刺耳粗野的語言，把他們拒之於千裏之外。他生怕別人與他太接近了會發現他生活中軟弱的一麵。他不需要別人同情，他是寧碎不屈的，所以喬治·巴頓很孤獨。
此時，他除了原有的內心深處的孤獨感之外，又加上一種所有偉大的軍事統帥都會感到的令人壓抑的寂寞。拿破侖被離鄉背井的傷感所征服並不是在厄爾巴和聖赫勒拿島上，而是在奧斯特裏茨、耶拿和在金字塔下。威靈頓感到極度的孤獨，不是在他鬱鬱寡歡的退休之後，那時他坐在住宅頂上的一把鐵椅上默默地觀看年輕士兵們在海德公園操練，而是在羅利加和維瑪利奧，在維多利亞和滑鐵盧。
巴頓曾研究過他們的生平，並為他們的寂寞深深打動。現在他也體會到這種寂寞的壓抑。
巴頓決定把這個壞消息告訴父母。他們是這個世界上最能夠理解、同情他的人。很快父親回電表示：“沒什麼，我的孩子，願上帝保佑你。”寥寥數語表達了父母對他的理解和支持。這使巴頓很快就重新振作起來，擺脫留級帶來的恥辱感，開始了新的一輪衝刺。
對於巴頓而言，留級意味著他將連續3年在軍校1年級（包括弗吉尼亞軍事學院1年）徘徊。他不僅要在學習上付出更大的代價，而且還要承受巨大的心理壓力。他學會了偽裝自己，小心翼翼地把自己掩蓋在引人注目的外殼裏麵，他所表露的一切怪癖都是他自己有意作出的。例如，他會以新奇的發言獨樹一幟，也會以粗俗的語言回擊一切敢於向他挑釁的人。冷漠外表的背後是一顆容易受傷的心。此刻，他要成為一名偉大軍人，登上榮譽頂端的心情比以往任何時候都要迫切。
在新學年裏，他幾乎把所有課餘時間都利用起來溫習基礎薄弱的科目。每天淩晨，天剛蒙蒙亮，他便悄悄爬起來，洗漱完畢後，來到校園中僻靜之處，大聲誦讀文章，鍛煉自己的發音和語言表達能力。當早操號吹響之時，他已熱身完畢。入夜，當熄燈號響過，他還要躺在床上冥思苦想，反複思考白天在課堂上討論過的戰例。他總是善於從各種角度設想，並以沉著冷靜的頭腦估量著一切可能的策略。可能正是這種訓練使他的頭腦比一般人認為的要科學得多，他對於戰爭的曆史了如指掌（幾乎每一戰例都像索引目錄卡片那樣整整齊齊地儲存在他的頭腦中），令許多同學自愧不如。
即使在聖卡特林納島休假期間，巴頓也把時間全部花在溫習功課上。並專門請了一位家庭教師為他輔導。他在記事本上寫的第一句話就是“始終不渝地竭盡全力”，並不斷提醒自己“一定要做比要求你做的更多的事”。