古代浚縣城之內和浮丘、大伾兩山之上，除佛道兩教的佛寺和道觀以外，還有數目眾多的祠廟、山莊、亭、塔、坊等建築，堪稱古建築的寶庫。按其性質大致可以分為三種：1．凡一人物於地方做出貢獻，且有利於鞏固統治，死後往往設祠，受後人膜拜。如明弘治十二年在縣城南大街路東所建的黎公祠。乾隆二年（1737）、乾隆四十六年（1781）、光緒元年（1875）黎公祠多次得到重修。黎公也就是子貢，複姓端木，名賜，春秋衛國黎人（今浚縣），孔子七十二賢之一。
他是孔子最親近的弟子，是孔子及其學說的宣傳者和扞衛者，是傑出的社會活動家和外交家，又是著名的富商。其道德學問，識見功業，受到曆代封建王朝的封爵。黎公是浚縣人的榮耀和榜樣，故立祠以祀之。又如明嘉靖二十七年（1548）建於小姑山北端的忠孝祠。明萬曆五年（1577）、崇禎四年（1631）以及清嘉慶七年曆次得到重修。
其祠是為紀念元末浚州知州王士元而修。至元十七年（1357），王士元領導浚城人民抵抗紅巾軍的攻城，城破後王士元及其子被殺。浚城人民為紀念王士元在保衛浚縣城所作出的努力和犧牲而為其建祠。2．反映人民一般願望的。在古代人們渴望風調雨順，五穀豐登，特別是對雨水的祈求。如浚縣豐澤廟就是一例。相傳龍洞為龍臥之穴，在此求雨，靈佑異常。據《康顯侯告》碑載：北宋宣和元年（1119）尚書郎徐公蒞浚，“詢民利病”，時值大旱，徐公“遂率僚屬奔走，躬禱於祠下，若響若答。一夕，則陰雲四合，不崇朝而雨千裏，公遂具述明神靈應，抗章於朝”，詔封為“康顯侯”。
古代重男輕女之風嚴重，“不孝有三，無後為大”，婦女有沒有子嗣將關係到其在家族中的地位。所以就出現了眾多的以求子為主要目的的“奶奶廟”、“娃娃廟”、“娘娘廟”等。這種祈子的廟宇在浚縣也是常見的。另外在古代官本位體製之下，青年人讀書做官成了社會和家族的一件大事。所以也就出現了許多像“文廟”這樣的建築。在浚縣如“文治閣”、“北關文昌閣”、“浮丘山文昌閣”等，以祈求仕途通達。3．供人休息玩樂的山莊、亭、坊建築。古代文人墨客多愛遊山玩水。在浚縣浮丘、大伾兩山上，這種建築業俯拾皆是。如霞隱山莊、紫泉山莊、雲半山房、浮丘山房、歇歇亭、偉觀亭、歲寒雙秀亭、觀瀾亭、引人入勝坊、浮丘勝跡坊等等。
（二）摩崖石刻、碑刻、石雕遺存眾多，曆史悠久。
浮丘山、大伾山等位於浚縣城附近的山多為石山，不僅為城市提供了可以依托的山體形態，而且也為文人騷客、過往官員詠歎山水，善男信女摩崖造像提供了優越的物質條件。這些眾多的摩崖題刻題記、石雕造像、碑刻銘文為研究各個朝代的社會曆史、山水名勝、信仰宗教等提供了彌足珍貴的文物遺產和人文史料。正是這種自然風光和人文故跡不斷地積澱、凝聚，潛移默化，延續著中華文明的血脈，記述著華夏曆史的足跡。
據《大伾山誌》，現存的書法藝術和曆史價值較高的摩崖石刻有128處，其中大伾山117處，浮丘山11處，除年代不詳者20處外，唐代8處，宋代8處，元代28處，明代8處，清代44處，民國13處。字體篆、隸、楷、行、草皆有，風格迥異，各盡其妙［6］。
浚縣大伾、浮丘兩山內現存史料價值較高的碑刻、墓誌銘（不含詩賦碑刻）共126通。最早為唐代，以後曆代皆有，以明清兩代為數最多。明代28通，清代64通。碑刻多數分布在大伾、浮丘兩山寺廟內。大伾山62通，浮丘山33通。其中碧霞宮26通，天寧寺19通，太平興國寺14通。其中後周顯德六年（959）“大伾山寺準敕不停廢記”碑、宋宣和元年（1119）“康顯侯告”碑，史料價值極高，尤為重要［7］。
浚縣曆來被稱為“石雕之鄉”，在境內現存漢代至清代石雕作品繁多，其中東漢畫像石、北魏大石佛、唐代千佛洞，明代呂祖洞和恩榮坊代表了石雕藝術的風格和水平，具有極高的曆史和藝術價值。在浚縣最引人注目的也是浚縣標誌性建築的是北魏大石佛。