由於美國奧運會上的出色表現，奧委會在第三屆奧運會的主辦權上優先考慮的就是美國，當時美國有兩個城市提出了申請，它們分別是芝加哥和聖路易，經過激烈的競爭最後定於由聖路易來承辦第三節奧運會。
聖路易是美國第八大城市，位於密西西比河右岸，交通方便，工業發達。十八世紀時，該市尚屬法國管轄，曾是皮毛交易市場。1803年歸還美國。它在人口、經濟實力上都遠遜於芝哥。它之所以能從芝加哥手中奪取勝利，主要是原定於1903年舉辦的慶祝該市開市一百周年紀念的世界博覽會改在1904年。主辦想使博覽會、運動會同時舉行，互增光彩。
運動會於1904年7月1日至11月23日舉行，延續了5個多月，是奧運會史上又一次曠日持久的運動會。參賽國家僅12個，是迄今奧運會參賽單位最少的一次。由於遠隔重洋，旅費昂貴，加之憂心遠東日俄海戰事態發展包括法國在內的許多歐洲國家均未出席，僅有英國1人，德國17人、希臘14人、挪威2人奧地利2人、匈牙利4人、瑞士1人7個國家，派出了總共隻有41人的歐洲隊伍參加。除歐洲外，另5個隊是東道主、古巴、加拿大、澳大利亞和首次參加的南非。參賽運動員共625人，其中女子8人，全由美國派出，美國占了533人。位居第二的加拿大隊，僅41人。由於外國對選手總共還不到100人，以致些項目的比賽，如拳擊、自由式摔跤、射箭、網球、水球等，幾乎都是清一色的美國人，無怪乎人們把這屆奧運會稱之為美國運動會。
本屆比賽在項目上略有變化。馬術、帆船、自行車、射擊等比賽。這次未列入，但新增加了拳擊，第曲棍球、克球，恢複了第一屆列入了的摔跤、舉重項目。女子僅有一項射箭，首次舉行了籃球表演賽。
聖路易奧運會同巴黎奧運會的很多相似之處，比賽場地、運動設施等，都是非常簡陋和難以令人滿意的；聖路易市民的興起也主要在世界博覽會，奧運會比賽的觀眾很少，即使最精彩的比賽，場內觀眾也從未超過兩千人。奧運會再次受到博覽會的衝擊，變成了它的陪襯，變成了它推銷商品的宣傳工具。它最大的失敗是組織委員會搞的一個“人類學日”讓運動員扮演非洲矮人，日本嚇夷人、菲律賓莫洛人、美國印第安人，進行爬杆、打泥巴仗等類比賽。這種種族歧視的活動，引起一切有正義感的人們的強烈不滿，它不僅是聖路易留在奧運會史上難以洗去的汙點，而且更嚴重的是，它違反了奧林匹克精神，打擊了奧林匹克運動的發展。顧拜旦得知這一訊息後怒斥在今後的奧運會中絕不允許有類似情況發生。
本屆田徑比賽在**大學聖路易分校運動場進行。跑道周長536.45米，直跑道長220米，是世界上最長。場內設施雖不完美，但較之上屆卻有天壤之別。決賽安排在8月底至9月初的一周時間內，不少項目隻有兩三個國家參加，個別的甚至隻有美國一國，加之美國實力雄厚，有的項目前六名均由美國包括。田徑共破16項奧運會馬錄，其中兩項超過世界最高成績。有密爾瓦基流星之稱的美短跑手阿.哈恩，在200米跑中創造的21秒6奧運會紀錄，整整保持了28年，直到1932年才被人突破。哈恩還在60米、100米賽中獲勝，包下了從60米至200米3個短跑項目的全部金牌，人們將這屆奧運會譽之為密爾瓦基流星大放異彩的運動會。除哈恩，本屆田徑賽獲3枚金牌的還有美國另外3名運動員，詹·萊特博迪、哈·希爾曼、以及在上屆曾獲3枚金牌的雷·尤裏。美國選手邁·普林斯頓，獲得了跳遠金牌，並撣聯三級跳遠冠軍。
美國黑人大學生喬·波格在200米，400米兩項跨欄賽中各獲1枚銅牌。這是黑人田徑運動員首次在奧運會上獲獎。
田徑賽共25個項目，美國奪行了其中23項冠軍。隻有兩項丟給了他國選手。在擲壺鈴賽中，加拿大一位來自蒙特利爾的警察埃·德斯馬托，戰勝了所有美國對手，奪取了勝利，擲壺鈴這個項目，除這次外，以後隻在1920年安特衛普奧運會再列入過一次。
在這次奧運會中十項全能賽首次被列入了奧運會。項目有：100碼91.44米跑、推鉛天、跳高、880碼804.66米，竟走、擲鏈球、撐竿跳、120碼118.87米跨欄、跳遠、擲壺鈴和一英裏1069.34米跑。這與今天的項目有較大的區別。同擲壺鈴一樣，參賽的6名選手中有5名是美國人。最後英國的愛爾蘭人托馬斯·凱利從東道主手中奪去了金牌。
本屆奧運會首次出現了謊騙行為。事情發生在8月30日的馬拉鬆賽中。這次以拉鬆全程40公裏，行進路線既有丘陵地帶，又有平原地區。當天氣候炎熱，路麵滿是塵土。聖路易奧運會馬拉鬆冠軍最後為希克斯獲得。事後也被他的教練揭露在那次比賽中弄虛作假，時過境遷，虛假成績已無法更改。
經過了聖路易和巴黎兩次奧運會，國際奧委會意識到了奧運會於世博會同時舉行的失敗。
(本章完)