格雷梅國家公園是由遠古時代5座大火山噴發出來的熔岩構成的火山岩高原，麵積近4000平方公裏，由於這種岩石質地較軟，孔隙多，抗風化能力差，這裏的山地經過長年的風化和水流侵蝕，形成了許多奇形怪狀的石筍、斷岩和岩洞。山體上寸草不生，岩石裸露，人們稱這裏為奇山區。而與裸露的山體成鮮明對比的是林木茂盛的山間峽穀。由於峽穀內風力較弱，日照時間短，水分蒸發少，空氣的相對濕度較大，適宜植物生長，所以林木主要集中在穀中生長。
卡帕多西亞是公元4～10世紀土耳其中部山區的地名，格雷梅國家公園內保存有數量眾多的建於古代卡帕多西亞時期的山地洞穴和地下建築遺址。2000多年前，上耳其先民希太部族在此鑿洞而居。公元4世紀，基督教傳人士耳其中部高原，在這裏建起了各種基督教宗教建築。到了9世紀，有許多基督教徒來到此山中鑿山居住，並將洞穴粉飾布置成教堂，在牆壁上畫上《聖經》中的人物畫像，至今仍色彩鮮明，清晰可見。公園中部有格雷梅天然博物館，由15座基督教堂和一些附屬建築組成，其中包括一些希臘式的教堂建築和建於1L世紀的聖巴巴拉教堂和建於12～13世紀的蘋果教堂等。於爾居普鎮附近石筍林立，到處是聳立著的石峰和斷岩，許多岩洞如蜂巢般穿插在岩石之間，岩洞內又有機的相連，成為相互貫通的高大房間。
格雷梅公園還擁有龐大的地下建築群。1963年，德林庫尤村地下，首次發現了地下城鎮。時隔兩年，又有另一個同樣規模的地下城鎮在卡伊馬澈附近發現。在以後的10年中，一共發現了63處地下城鎮。這些地下城鎮雖尚未完全挖掘，但其規模已經很驚人。卡伊馬格雷梅擁有壯觀的火山岩群和古老的岩穴教堂和洞穴式住房澈地下城鎮修建的很深，在地下有7層，最深處在地下40米，而德林庫尤地下城規模更大，也為7層，最深處達90米。這些地下城鎮裏建有無數的住宅、小教堂、廚房、水井和貯藏室，還有完善的通風係統以及複雜的逃生通道，地下各個城鎮之間還有通道相連。修建地下城的目的是公元7世紀時土耳其的拜占庭帝國被阿拉伯入侵占，土耳其各地的基督徒逃亡到這裏，並在地下修建了房屋和教堂以躲避伊斯蘭教徒的迫害。
現在格雷梅公園內還有許多山中、地下的教堂和房屋因地震引起的洞口坍塌尚未挖掘，這些代表了拜占庭藝術精華的奇跡，是人類曆史文化長廊中的瑰寶。
希拉波利斯·帕姆卡萊
從平原之上200米高的岩石中流出的泉水和水中的方解石形成了帕姆卡萊這一特殊地貌。它由石林、石瀑布和一係列的梯形盆地組成。土耳其語“帕姆卡萊”是“棉花城堡”的意思。公元前2世紀末阿塔利德斯王朝的帕加馬國王們建立了希拉波利斯溫泉站。這處遺址包括浴室的廢墟、廟宇和其它希臘建築。
在帕姆卡萊的巴巴達格山上，數十個乳白的天然石灰岩水池遍布海拔200餘米的整個山坡。從羅馬時代起，雪白的石灰石連同熱泉一起就被認為具有神奇的巨大魔力。而“棉花城堡”真正的成因還是源於這裏極為特殊的地質環境。由石灰岩構成的山體由於“泉華”使得泉水中的二氧化碳在出露地表後變為碳酸鈣沉積，新近沉積下來的碳酸鈣給這些石灰潔白。這些石灰華沉積在地質上屬於第四紀，人們認為它來自於一個斷層中，這個斷層位子中生代和新生代之間的過渡地帶上，該地區的熱泉平均溫度有35℃，這些泉水是一個複雜水係統的一部分，該係統向西北方向延伸了70公裏，一直到阿拉斯希爾，向西沿著曼德列斯河穀延伸。這些運河將熱水帶到附近地區的村莊和工業區，常年累月，有的地方沉積下來的石灰華的高度已經達到了10米。這個地區最老的岩石是結晶的大理石、石英岩和片岩，位於公園的北部。
希拉波利斯的羅馬城鎮廢墟便在這個遺址附近。羅馬城鎮最早是由珀加蒙國王尤門斯二世建於公元前190年間，它的名字取自王後希拉。在公元2世紀和3世紀的末期希拉波利斯的發展達到了鼎盛時期。希拉波利斯是土耳其曆代王朝供皇室貴族享用的娛樂場所。在建設結構上，它承襲了希臘的傳統風格，一條南北向延伸的主街道有1公裏長，寬13米，主要的建築物都排列在街道的旁邊，街道兩側的小巷都與街道成直角形。整條主街道上建有2座大門，另外較為重要的一些建築物包括劇院、八角形建築、浴場、神廟、羅馬式建築和大墓地，現已遺留不多。