三遊洞是古代地下水沿石層麵不斷溶蝕，並經過塌陷形成的石灰岩溶洞，地質年代為寒武紀，距今約五六億年，蘇軾認為它“洪荒無傳記，想象在義媧”，但其成為著名古跡和遊覽勝地始於唐宋時期。清代龔紹仁詩雲：“夷陵有夷山，夷山多名洞。三遊最著名，喧傳自唐宋。”據史料記載，唐元和十四年（公元819年），詩人白居易由江州（今江西九江）司馬升任忠州（今四川忠縣）刺史，與其弟白行簡途經夷陵，在此巧遇莫逆之交元稹。詩人元稹由通州（今四川達縣）司馬調遷虢州（今河南靈寶）長史，客居夷陵。白居易《夷陵贈別元微之》寫道：“夷陵峽口明月夜，此處逢君是偶然。坐從日暮唯長歎，語到天明竟未眠。”元白三人結伴泛舟下牢溪，發現古洞，“初見石如疊、如削，其怪者如引臂、如垂幢，次見泉如瀉、如灑、其奇者如懸練、如不絕線”，三人進入洞中，但見“水石相薄，磷磷鑿鑿；跳珠濺玉，驚動耳目”，“俄而峽山昏黑，雲破月出，光氣含吐，互相明滅，晶瑩玲瓏，象在其中，雖有敏口，不能名狀”。於是元、白三人戀戀不舍，置酒暢談，徹夜不寐，借景生情，各賦古調詩二十韻一首，並由白居易“序而記之”。現洞中尚存明代重刻的白居易《三遊洞序》碑石，詩已失傳。三遊洞即由此得名。
到了宋代，三遊洞已成為南方遊覽勝地。著名文學家蘇洵、蘇軾、蘇轍父子三人於宋仁宗嘉祐四年（公元1059年）冬，從故鄉眉州（今四川眉山）一同赴汴京（今河南開封）受任，途經夷陵，尋勝遊洞，賦詩唱和。蘇洵詩雲：“洞中蒼石流成乳，山下寒溪冷欲冰。天寒天子苦求去，我欲居之亦不能。”蘇軾詩雲：“凍雨霏霏半成雪，遊人屐冷蒼苔滑。不辭攜被岩底眠，洞口雲深夜無月。”蘇轍詩雲：“昔年有遷客，攜手過嵌岩。去我歲已百，遊人忽夏三。”人們稱白居易三人之遊為“前三遊”，而稱蘇軾父子三人之遊為“後三遊”。從此，三遊洞名傳天下，遊曆者絡繹不絕。
三遊洞形若覆蓬，下臨深穀，峭壁百丈，地勢險峻，清人魯先榜描述它是“四望皆山，一峰出眾；峻嶺之間，橫開一洞”。洞門藤蔓倒掛，隨風飄拂，前有一副對聯：“蜀巴荊楚之間奇觀有此，元白蘇黃之後遊者其誰”，對聯的正上方有摩崖鐫刻“洞天福地、窈窕虛明”的大字。三遊洞洞室開闊，呈不規則長方形，深約30米，寬約23米，高約9米。洞中岩石褶迭起伏，斷裂縱橫，有三根似圓若方的鍾乳石柱，垂直平行橫列，將洞隔成相通的前後兩室。前室明曠，詩文滿壁，錯落有致，琳琅滿目，並陳列有白居易、白行簡、元稹三人的漢白玉石刻像，若明若暗，惟妙惟肖。洞的正中，聳立著一塊高大青石碑，是明神宗萬曆年間夷陵知州匡鐸重刻的白居易所撰《三遊洞序》和匡鐸所撰《跋》，碑文為明代徐斐然書篆並鐫。後室幽奧，自然古樸，深邃幽靜，洞頂之懸石，擊之有聲，名為“天鍾”；地麵之凸石，跺之有聲，取名“地鼓”，故有“天鍾地鼓”之說。洞壁上有幾個小洞，即所謂“洞中有洞”，但可望而不可入。唯左壁有一耳洞，佝僂扶壁前行十幾步，可通於洞外，洞外峰巒競秀。