諸山皆以是寺為郡中八大刹之首。
平遠樓，仿平遠堂之名為名也。樓本三層，最上者高寺一層，最下者矮寺一層，其第二層與寺平，故又謂之平樓。尹太守為之記。汪滌崖於此樓畫黃山諸峰，稱神品。樓建後關帝殿，旁為東樓，樓下便門通小香雪，即題“鬆嶺長風”處。
順治間，郡人趙有成，延受宗旨和尚主方丈，乃曹洞山三十世正傳，其徒道宏嗣之。道宏名德南，字介庵，建山門，與其嗣麗杲昱和尚退居吉祥禪庵，乃為洞山三十一世正傳。破暗燈和尚嫡孫受宗旨和尚法嗣。其後為敏修玉和尚，由焦山定慧寺來主方丈。程午橋詩雲“猶帶焦公洞裏雲”謂此。其僧眾中工詩者，則行吉最著，詠堂、秋圃次之。昔寺中有一僧，能作打油詩，不著名字，即號平山，刻有《平山打油詩》。如《詠貓詩》雲：“春叫貓兒貓叫春，看他越叫越精神。
老僧也有貓兒意，爭敢人前叫一聲。“時來一遠僧，名牛山，能作”放屁詩“，刻有《牛山四十放》。如《湖上詩》雲：”遊春公子體麵乎，者也之乎滿口鋪。
行到馬頭齊上岸，開元八個跌成無。“二僧相遇訂交，乃刻《二山詩》，見者謂略具禪理。
平山堂在蜀岡上，《寰宇記》曰：“邗溝城在蜀岡上。宋慶曆八年二月，廬陵歐陽文忠公繼韓魏公之後守揚州，構廳事於寺之坤隅。江南諸山，拱揖檻前，若可攀躋，名曰”平山堂“。寄魏公書有雲：”平山堂占勝蜀岡，一目千裏“謂此。其時公攜客往遊，遣人走邵伯湖折荷花，遣妓取花傳客，事載諸家說部中。
嘉初，公遷翰林學士，知製誥，新喻劉敞知揚州，有《登平山堂寄永叔內翰詩》，公與都官員外郎宣城梅堯臣俱有和詩。八年，直史館丹陽刁約自工部郎中領府事，堂圮，複修，又封其庭中為行春台。察訪使錢塘沈括為之記。熙寧四年，蘇文忠公過廣陵，有《會三同舍》詩。登州王居卿知揚州，文忠去杭知密州任，過揚州，有《平山堂唱和詩》。元豐三年，自熙城移守吳興，過揚州，有《西江月詞》，蓋距潁州陪宴，時將十年。公卒於熙寧五年，故有“三過”“十年”之語。及元七年，文忠知揚州半載，改兵部尚書，有遊蜀岡送李孝博詩，獨無平山堂詩，後人疑其集中失載。紹興末，堂圮。隆興元年，長興周淙由濠梁守進徽猷閣帥維揚，複修。鄱陽洪邁為記。淳熙間，龍圖趙子加修，承宣鄭興裔更創而大之。
開禧間，堂圮，其時郭倪知揚州，吏部閻蒼舒贈詩雲：“平山堂上一長歎，但有衰草埋荒邱。歐仙蘇仙不可喚，江南江北無風流”是也。嘉定三年，大理少卿趙師石除右文殿修撰，起帥維揚，複修。寶慶間，史岩之加修。紹定四年，李全宴北使於是。景定初，李庭芝主管兩淮製置司時，元兵至，構望火樓於是，張平弩以射城中，庭芝乃築大城包之，名曰“平山堂城”。自是平山堂入城中。魯奐謂淮東扼要有六：海陵、喻口、鹽城、寶應、清口、盱眙，皆以揚州為根本，根本之地，蜀岡也。揚州城隍雜見於《寰宇記》、《漢書地理誌》、《水經注》、《名勝誌》、《宋名臣言行錄》諸書，陸無從考之甚詳。而賈秋壑所謂“包平山而瞰雷塘”者，僅傳李庭芝平山堂城，餘概不可得而考。山堂曆元、明兩朝，興廢亦不得其詳，惟元季孝元詩有“蜀岡有堂已改作”句，舒ν詩有“堂廢山空人不見”句。趙氵方有《登平山堂詩》；迨前明諸家詩文，多不及此。萬曆間，烏程吳平山領郡事，重修，司李章邱趙拱極為記。本朝康熙元年改為寺。十二年，山陰金長真鎮知揚州府事，舍人汪蛟門懋麟修複平山堂。堂之大門仍居寺之坤隅，門內種桂樹，緣階數十級，上行春台，台上構廳事，額曰“平山堂”。時蕭山毛奇齡、寧都魏叔子、群人宗觀及長真、蛟門皆有記。會太守遷驛傳道，十四年過郡，蛟門拓堂後地建真賞樓，樓下為晴空閣，樓上祀宋諸賢；堂下為講堂，額其門曰“歐陽文忠公書院”。乾隆元年汪應庚重建，增置洛春堂，又於堂西建西園，自是改門額為“平山堂”，書院之名始革。此山堂興廢之大略也。本朝聖祖賜“平山堂”、“賢守清風”、“怡情”、“澄曠”四匾，上賜“詩意豈因今古異，山光長在有無中”一聯、“時和筆暢”四字，臨《定武蘭亭》卷、《梅花扇生秋詩》草書一卷，今皆石刻供奉山堂中。
山堂大門在寺坤隅，門內植老桂百餘株。琢石為階，凡三十餘級，上築石台，即行春台。台上老梅四五株，即歐公柳、薛公柳、左司、糜師旦屬揚帥種柳處。
上建廳事，顏曰“平山堂”，扁長一丈六尺，為鄭穀口八分書。朱竹檢討賦穀口詩雲：“平山堂成蜀岡湧，百裏照耀連雲榱。工師斫扁一丈六，眾賓歎息相瞠眙。須臾望見來至，井水一鬥研俞糜。由來能事在獨得，筆縱字大隨手為。
觀者但妒不敢訾，五加皮酒浮千鴟。“
真賞樓本“晴川閣”舊址，閣名取“平山欄檻倚晴空”句，為孔東塘尚任所書。旁懸章藻功聯雲：“雨今雨舊，乃知晴亦為佳；無想無因，那不空諸所有？”
自金觀察按郡過揚州，汪氏改閣為樓，取“遙知為我留真賞”句，遂以“真賞”
名。上祀歐、韓、劉、刁、王、蘇諸公，以王文簡、金太守、汪刑部配享。迨建三賢祠，是祀乃停。樓下即以“晴川閣”舊扁懸之。今樓下貯《禦製壬午平山堂絕句八首》石屏，不禁民拓。
洛春堂在真賞樓後，多石壁，上植繡球，下栽牡丹。洛春之名，蓋以歐公《花品敘》有“洛陽牡丹天下第一”之語，因有今名。郡城多繡球花，恒以此配牡丹，繡球之下，必有牡丹；牡丹之上，必有繡球。相沿成俗，遍地皆然。北郊園亭尤甚，而是堂又極繡球、牡丹之盛。繡球種名不一：有名“聚八仙”者，昔人又因有“瓊花”為“聚八仙”者，遂相沿以繡球為瓊花。府誌中有《瓊花考》，其中引據諸書，如《方輿紀要》、曆朝府縣誌書、《齊東野語》、杜遊《瓊花記》、鄭思肖《詩序》、宋次道《春明退朝錄》、宋景文《筆記》、葛常之《韻語陽秋》、康駢《劇談》、楊慎《瑾戶錄》、吳應麟《說ヵ》、瞿佑《吟堂詩話》、王辟之《澠池筆談》、《代醉編》，宋張開、元郝經《瓊花賦》二序，可謂廣搜博采。
而周必大《玉蕊辨證》、周渾《清波雜誌》、張浩《雲穀雜編》三書，未之采也。
《玉蕊辨證》所引據，自《春明退朝錄》始斷以瓊花為玉蕊。《雲穀雜編》兼引宋景文《摘碎》、姚令威《西溪叢語》、曾端伯《高齋詩話》、楊汝士與白《二十二帖》、程文簡《雍錄》、洪文敏《容齋隨筆》、李肇《翰林誌》、《賈氏談錄》，李德裕、劉禹錫、白樂天文集諸書，皆折衷辨證瓊花以玉蕊為斷，而《玉蕊》以《翰林誌》、《談錄》二書為斷。所謂“玉蕊”，每跗萼上花分五朵，實同一房，謂之連房玉蕊，則瓊花之為玉蘭而斷非繡球可知矣。郡中既以繡球為瓊花，而繡球牡丹栽同一處，如桃花楊柳之不可離。而《清波雜誌》中並瓊花牡丹合為一條考證，絕類今人合繡球牡丹為一局之意。輝且自雲“輝家海陵”，其時海陵隸揚州，視為鄉裏；則其揚州氣習未除，已可概見，又安知周輝不且以瓊花為繡球耶？芍藥產於揚州。崔豹《古今注》謂芍藥有草木二種，俗呼牡丹。可知牡丹亦郡中所宜木，而特不知接法，遂不得不資於洛種耳。郡中影園黃牡丹稱於世，其次隻赤、粉二色。若汾州眾香寺白牡丹，唐裴給事宅紫牡丹，曹州青、綠、黑樓子牡丹，則未之見矣。陳竹畦《平山堂看牡丹詩》雲：“閑行隨蛺蝶，方便入僧家。春色迷歸路，人情向此花。苔箋刪綺語，風幔味新茶。可識諸天相，前身是晚霞。”蓋即此牡丹也。
汪懋麟，字季角，號蚊門，生於前明。城破日，母赴井死，家人縋出之。及父死，李氏自課其子，茹素五十餘年，稱賢母。蛟門幼聰慧，童時登蜀岡憑吊歐陽文忠公遊賞勝概，慨然有複古之誌。及冠，與兄耀麟請於守令議複，以他事見阻。尋蚊門以康熙丁未進士官舍人，每入直，攜書卷竟夜展讀。有楚人朱二眉，號神仙，傾動公卿。蛟門著《辨道論》，力詆其妄。夢十二硯入懷，遂以名齋，朱竹為之記。自號覺堂居士。癸醜中，汝守金長真以移知揚州府事來京，寓蛟門。遂請以複山堂為急務。金公性好古，守汝時，考淮西舊碑，勒段、韓二文於碑之陰陽。迨移守揚州，軍興旁午，公日觴詠蜀岡，興文教，繼風雅。值蛟門丁母憂歸裏，膺薦舉博學不赴，遂捐貲修複山堂。蛟門以八分書平山堂額，夜夢歐公命書聯句雲“登斯樓也，大哉觀乎”八字，故祗園庵僧藥根詩有“一聯曾入詩入夢，兩字長留太守吟”之句。同時儀征黃北因宋劉京原父出守是州，與蛟門修複山堂時皆官舍人，故黃詩有“終始全憑兩舍人”句。山堂落成，金公有《朝中措》詞雲：“烽煙鍾磬總成空，往事夕陽中；重構雕欄畫檻，還他明月清風。
廬陵杳邈千年，此地精爽猶鍾。留我名山片席，還教做主人翁。“其時和者吳茨、程昆侖、毛大可、孫豹人、宗鶴問、彭桂、華龍楣、歸允恭、龔半千、黃石閭，凡此皆一時之勝。後金公遷按察，驛傳道移江寧，按部過郡，與蛟門構真賞樓祀宋諸賢。停車蓋，步曲巷，訪寧都魏叔子禧，其折節下士，有古人風。
蛟門真賞樓有《人日大雪同人賦四十韻》詩，又同人展拜歐陽木主，各賦七言古詩。其時同作為孫豹人、宗鶴問、華龍楣、程穆倩、鄧孝威、陶季深、王仔園諸人。服闋，以主事銜入史館與修《明史》，三年補刑部，著《百尺梧桐閣集》二十三卷，複以鄭樵《通誌》浩繁，手為刪訂。死後葬於山堂側。康熙間，土人以王文簡公從祀真賞樓；雍正間以金公及蛟門從祀。土人唐心廣於修複山堂時任鳩工之役，竹頭木屑，纖毫無遺憾，蛟門記雲：“心廣勞不可沒，例得書。”兄耀麟，字叔定，著《抱耒堂集》二十六卷。
山堂遊跡，自王文簡始，有《九日與方爾止、黃心甫、鄒訝士、盛珍示宴集詩》，載集中。其時如鄧孝威、朱竹、龔半千、杜茶村、孫豹人、林茂之、張祖望、孫無言、許力臣、師六兄弟，袁於令、宗鶴問、吳茨、陳其年、宗定九、王西樵、施愚山、汪舟次諸人，皆散見各家詩文集中。迨山堂修複時，文簡有寄豹人、定九、孝威詩。金長真有《修複山堂詩》。其時如曹秋囗、吳方漣、陸求可、汪苕文、秦對岩，丁飛濤、陳說岩、彭羨門、宋漫堂、許竹隱、朱竹、李良年、毛大可諸人皆有詩。康熙間，崔平華轉運揚州，禊山堂，其時又如彭桂、高澹人、汪退穀、曹貞吉諸人皆有詩。傅太守澤洪與山堂僧麗杲、詩人潘雪帆有詩。曹楝亭巡視兩淮，其時如卓爾堪、孔東塘諸人有詩。何延己有《上巳山堂禊詩》。王樓村殿撰式丹山堂結詩社，今可知者，杜紫綬、黃雲二人。唐天門有《山堂宴集詩》，皆“邗江雅集”中人。王木瓶《花朝招集山堂詩》，則徐陶璋、唐繼祖、方肇夔諸人。趙藹人吉士有《山堂詩次先東山韻》，許承宗為跋，泐山堂石壁。盧雅雨初轉運兩淮，有《囗禊山堂詩》。甲戌轉運與嵇拙修漕運璜、錢集齋侍郎陳群有《山堂紀遊和韻詩》，集齋手錄一卷，泐石平樓。集齋跋雲：“予病差可，泛舟遊邗上，盧同年自長蘆移駐於此。錫山嵇司農督修高堰告竣，請假省親經邗上，邀遊山堂，予亦與焉。明日，嵇君揚帆去，郵寄原韻，則予已還。李都轉以和詩及原唱彙致，促予成詩，屬手錄一卷。予書不足珍重，而都轉風流，真足步漁洋後塵矣。”時李文園編修中簡服闋來揚州和韻，柘南居士手錄一通，跋雲：“文園有追和嵇司農之作，雅雨有壽石之舉，即請予書付去。歐陽內召後，梅、劉諸君多用其韻郵寄，遂成佳話。文園或有意於此歟？”轉運跋雲：“《山堂紀遊詩》既出，海內名公，和者寢眾，乃隨寄到之先後，勒石於平樓，以貽後之覽者。樓在堂之西偏，丁巳年光祿卿汪應庚重修，遊人宴集，多在斯樓雲。”繼之程午橋編修，王孟亭太守箴輿、秦澗泉殿撰大士、田退齋侍郎懋覲、彭芝庭殿撰啟豐、周蘭坡學士長發、熊秋林編修本、王穀原主事又曾、錢稼軒殿撰維城、李晴洲文學朗，後先追和，澗泉續書泐石。澗泉跋雲：“雅雨同錢香樹、嵇黼庭遊山堂，為長歌張壁間，嗣是凡名公卿朝士道經茲土，往往次韻留題而去，或別後於郵筒卻寄，乃鐫諸貞瑉，以誌一時文藻之盛。”先是司寇錢公彙書一卷，摹泐上石，以次若幹首，雅雨命拙書續之，猥以譾陋，廁名壇坫之末，其有餘榮矣。厥後朱曉園觀察若東又追和之，今皆泐石陷樓壁。
廬陵歐陽洽，字文達，文忠公裔孫也。善堪輿家言，尹製軍繼善與之善。高禦史重修山堂，辨方定位，皆出其手。蜀岡地脈見於顧祖禹《讀史方輿紀要》、祝穆《方輿勝覽》、陸深《知命錄》、姚旅《露書》、《太平寰宇記》、《朱子語類》諸書，時人誤以“江東十八龍”之法用之，置平洋於弗問。文達從《知命錄》以地脈自西北來，一起一伏，不得以山上龍神目之，遂著《堪輿理數略》一書，劉相國綸為之序。
乾隆初年，一人於春夕月下見數人圍坐山堂門外石版地上，闐委雜陳。趨視之，有體質癰、飲食過人者；有形貌瘦瘠、慵態可掬者；有衰朽無狀、神色索然者；有患惡疾、須眉墮落、鼻梁斷壞者，飲殊致，流涎錯喉，昏月之下，不辨所食何物。中一人顧而舉所食之餘與之，則馬矢也。見者恚甚，疑為乞兒相戲。去不數步，忽杳無人，地上皆鮮荔支殼，始知前乞兒皆仙雲。