在1894年6月，經過巴黎國際體育會議與會代表的協商，曆史名城雅典，贏得了首屆現代奧運會的主辦權。希臘首都雅典，坐落於希臘東南部的阿蒂卡半島西側，三麵環海，氣候宜人。這個今日希臘政治、文化、經濟的中心，在古希臘時期就是重要競技場所之一。它特別注重文化教育，強調把智育、德育、體育和美育四者結合起來培育人才，創建了光輝燦爛的雅典文化。如果說，希臘是歐洲古代文明的搖籃，那麼雅典則是這個搖籃的中心，聞名世界體壇的古奧運會發源地奧林匹克亞，也在離這裏約300千米的地方，因此，首屆奧運會選在這個古城舉行有其重要曆史意義。
希臘首相特裏庫皮斯提出，因經費問題，要求緩辦奧運會。顧拜旦得知這個消息後，1894年10月底，他倉促地從巴黎坐火車到達馬賽，然後乘輪船奔赴雅典。到達雅典後，他與第一屆奧委會主席維凱拉斯略事寒暄，就來到雅典古運動場遺址。
當顧拜旦見到斷垣殘壁、滿目荒涼的景象時，心一下涼了半截。在這樣的廢墟上重建運動場是需要一大筆資金的。錢又如何籌措呢？雅典首相的態度，遭到了反對派的強烈指責，也引起了雅典市民的不滿。於是他抱一線希望求助於希臘王儲。
希臘王儲康士坦丁，是一個26歲的英俊青年，威猛有力，喜愛運動。王儲被說服了，顧拜旦不虛雅典之行。
王儲接管了籌備奧運會的一切工作，這引起了首相的強烈不滿，國王喬治一世回國後，又公開支持王儲，迫使特裏庫皮斯辭去了首相職務。一國高級官員，因奧運會主辦問題辭職這在奧運會史上是僅有的一次。
籌備工作中的障礙消除了，為了籌集資金，希臘全國各地掀起了募捐運動，募集了332756德拉馬，但這隻是杯水車薪。為了彌補資金不足，希臘政府撥款40萬德拉馬，郵政部門利用這筆款，發行了一套以古奧運會曆史為題材的郵票，高於麵值出售。這是世界上第一批奧林匹克郵票。希臘人雖然通過募捐、發行郵票籌集了不少資金，但運動會能順利召開，最後還得力於希臘富商喬治·阿維辦夫（1814-1899年），他贈獻了一百萬德拉馬巨款，在古運動場的廢墟上重建了大理石運動場。為了紀念阿維羅夫對運動會所作的貢獻，希臘人民在雅典廣場為他建造了一座塑像，並在運動會開幕前一天舉行了揭幕典禮。
第一屆奧運會克服重重困難，終於在1896年4月6日開幕了。這是曆屆奧運會舉行月份最早一次。東道主之所以將開幕式選在這一天，是為了紀念希臘反抗土耳其統治起義75周年。
4月6日下午3時，希臘國王喬治一世宣布了大會開幕。維凱拉斯、顧拜旦等國際奧委會官員出席了開幕式。在開幕典禮中，演奏了一曲莊嚴的古典弦樂，1958年國際奧委會將它定為奧運會會歌，會歌作曲者為希臘薩馬拉斯，作詞者為帕拉馬斯。希臘人對這次大會表現了極大的熱情，出席開幕式的觀眾達8萬人，這一數字直到1932年洛杉機奧運會才被突破。應邀參賽的有澳大利亞、奧地利、保加利亞、英國、匈牙利、德國、丹麥、美國、法國、智利、瑞士、瑞典和東道主希臘13個國家的311名運動員，希臘陣容最大，共230人占總數的三分之二；德國、法國各19人；美國14人，居第四位。美國選手大都來自哈佛、普林斯頓大學。他們是自行組織、自籌經費，抱著到歐洲觀光的目的參加的。首屆奧運會東道主沿襲了古奧運會舊製無女子參加。對參加國的資格不像今天有非國際奧委會會員國不得參加的規定。希臘向包括中國在內的世界各國發出了邀請，但絕大多數國家因對奧運會不甚了解或其他原因，都未派隊出席，中國亦屬此列，希臘鄰國意大利曾去了一名米蘭運動員，這也是意大利派出的唯一選手，大會組委會認為他是職業運動員，因此未被允許參加。
本屆比賽項目有田徑、遊泳、舉重、射擊、自行車、古典式摔跤、體操、擊劍和網球9個大項。原計劃中有賽艇項目，後未舉行。
戰幕於4月6日開幕式當天拉開。美國詹姆斯·康諾利在三級跳遠賽中旗開得勝，成績是13.71米，成為現代奧運會的第一個冠軍。他獲勝後，運動場奏起了美國國歌，升起了美國國旗。這在以後就成了奧運會的傳統發獎儀式。康諾利是美國哈佛大學一年級學生，來雅典時未能獲得校方同意，但這位熱愛古典文學和體育運動的青年，為神話之國的希臘和運動會所吸引，下決心退了學。當他帶著第1枚奧運會獎牌回到母校時，受到了熱烈的歡迎。學校認為這既是康諾利的光榮，也是哈佛大學的光榮。
美國是這次田徑賽中的寵兒，在康諾利奪冠後兩小時，又一選手在希臘人自認為可穩操勝券的鐵餅項目中獲取桂冠。他是來美國普林斯頓大學的學生羅伯特·加勒特。
100米決賽於4月10日進行。起跑姿勢，可以說是千姿百態，有直立著的，有彎著腰的，有雙手攤開的，隻有美國的托瑪斯·伯克采用了近似“蹲踞式”的跑法。他以12秒整的成績奪得了冠軍，這也是他繼400米賽後又一次取得的勝利，伯克在100米預賽時曾以11秒8創造了這個項目的第一個奧運會紀錄。