棲霞寺自創建後，經過了漫長的曆史發展，並在其發展過程中幾易其名。
1979年，棲霞寺修複一新，成為南京地區最大的寺廟，並作為佛教活動場所對外開放。
棲霞寺所處的棲霞山位於南京城東郊，《金陵梵刹誌》中記載說“在都城東北，南去所統靈穀寺三十裏，太平門四十裏。”
棲霞山原名攝山，棲霞寺碑銘《陳侍中尚書江總持》中說：“山多草藥，可以攝養，故以攝為名焉。”其它的史料中也說到，棲霞山盛產諸如甘草、野參、當歸、茯苓之類的中草藥，有滋養攝生的效用，所以得名攝山。
從棲霞山的主峰，三茅宮峰、鳳翔峰以下，全山地勢如張傘，所以棲霞山又名傘山。史誌中說“形同如蓋，又名傘山。”
傘山是棲霞山最早的名稱，後來因為山中多產資生藥物，所以改名為攝山。明按察副使馮時可的《遊攝山棲霞寺記略》中說：“攝山舊名傘山，以其形團如蓋也，或以地宜藥物，可資攝生，易今名焉。”
南朝以前，山中常有猛虎出入，棲霞山又名虎窟山。所以棲霞寺在宋元祐八年改為崇報禪院，又名為虎穴寺。而棲霞山山脈主峰的西南山坡狀若伏虎，因此這條山脈稱為虎山。在棲霞山所有的名稱中，攝山一名較普遍，它的北麓至今仍有攝山湖、攝山營等，都是以此命名的。
棲霞寺與南朝齊代的明僧紹有著很深的淵源。明僧紹字徵君，出生在南齊的名門望族。齊建元年間，他在攝山伐木結廬，絕塵避世。
鄰近有一沙門法度禪師講《無量壽經》，明徵君與他交往很深，待以”師友之敬”。後來他就在483年把自己的住宅第捐給佛門，“因即鄰崖構宇，別起梵居，聳嶠飛柯，含風吐霧，西霞之寺由此。”
當時建成的寺宇稱為“棲霞精舍”，“棲霞”之名就是從這裏開始的。
關於這段曆史，《高僧傳》法度禪師傳略中亦有記載：“齊郡明僧紹，抗跡人外，隱於瑯琊之攝山，挹度清真，待以師友之敬，及亡舍所居，為棲霞精舍，請度居之。”在明兵部侍郎汪道昆的《棲霞般若堂記》中亦有記載：“齊徵君明僧紹供法度禪寺，居攝山。太始中，徽君以其舍為棲霞寺。”
關於明徽君，唐高宗的《禦製攝山霞寺明徵君碑》中說“：南齊徵君明僧紹者，平原人也……徵君早植淨因，宿苞種智，悟真空於倚歲，體法華於素襟，照與神通，心將道合。遺榮軒冕，少無塵染之情，托誌村岩。”
唐高宗的《禦製攝山霞寺明徵君碑》現在仍棲霞寺，它是唐高宗李治在上元三年建的，碑正南麵為李治的碑文，由當時蓍名書法家高臣用行書寫的，碑背麵是李治手書的“棲霞”兩個大字。李治的碑文中也提到明徵君無意仕途的思想，碑文中說：“建元六年，又下紹徵為散騎侍郎，又不就。”
由於明僧紹不戀功名富貴，又舍宅第以建棲霞精舍，因此後來的文人墨客來到棲霞寺，就有不少人寫詩懷念他，唐代詩人劉長卿和顧況分別寫了下麵的兩首詩。
霞寺東峰尋明徵君故居
山人今不見，山鳥自相從。
長嘯辭明主，終身臥此峰。
泉流通石徑，閉戶掩塵客。
古墓依零草，前朝寄老鬆。
片雲生斷壁，萬壑遍踈鍾。
惆悵空歸去，猶疑林下逢。
攝山
明徵君舊宅，陳後主留詩。
跡在人亡處，山空月滿時。
寶瓶天破響，道樹有低枝。
已是傷離客，乃逢靳尚祠。
在《攝山》這首詩中，顧況提到“靳尚祠”，這裏麵還有關於棲霞寺建寺時的一個典故。
法度是宋末黃龍人，從小就出家，修苦行。當時明僧紹隱居在攝山，就把自己的家宅改成棲霞精舍，請法度住在裏麵。這塊地方，原先是有道士想在此蓋道觀的，但住進去後，人就死去了。後來蓋了寺廟，還是經常有不祥的事發生，但法度住在這裏後，“群妖皆息”。
原來這座山有一個山神，名叫靳尚，統治這座山有700多年了。一天，靳尚化為人來拜訪法度，說：“神道有法，物不得幹。前諸棲或非真正，故死病繼之，亦其命也。法師道德所歸，謹舍以奉給。”
從此靳尚也就成了棲霞山的守護神，人們給他建了祠堂，並以素食供奉他。這是一個小故事，然而人們也可從這裏看出，棲霞寺的開山祖師法度的道德，是神和人都欽服的。
在明徵君舍宅第為“棲霞精舍”後，至南朝時期，王公貴族大多崇佛。對棲霞寺大加營構。並開鑿了千佛崖石窟。棲霞寺成為“南朝四百八十寺”中的著名寺廟。
粱元帝蕭繹為湘東王時，撰《攝山棲曩寺碑銘》，文辭典雅，對仗工整，將棲霞寺描摹得仿佛化外仙境。梁時，遼東名僧僧朗善“三論”和《華嚴經》，前來師事法度，盛弘“三論”，後被尊稱為三論宗初祖。
僧朗深受粱武帝器重。他死後，其弟子僧詮、僧詮的弟子慧布繼續住持棲霞寺，弘揚“三論”，棲霞寺因而被視作“三論宗”祖庭。
隋朝建立後，隋文帝楊堅於601年6月頒布《立舍利詔》。將得自婆羅門沙門的佛舍利分送天下83州，命各州分別建塔保存。史料記載：“分道送舍利，先往蔣州棲霞寺，及30州次53州等寺起塔”，棲霞寺為當時全國立舍利塔之首，足見其聲望之隆。
唐代時，唐高祖李淵改棲霞寺為功德寺，增建刹宇梵宮49所。唐高宗李治為表彰明僧紹舍宅建寺之功，於676年，在棲霞寺門前立禦製“明征君碑”，同時改功德寺為“隱君棲霞寺”。
845年，隱君棲霞寺毀於唐武宗“毀法滅佛”事件。至851年，又在原址重興棲霞寺。
南唐時，棲霞寺又改名為“妙因寺”，重修舍利塔。北宋太平興國五年，更名“普雲寺”。宋真宗景德年間，改稱“棲霞禪寺”。後來又曾更名為“嚴因崇報禪院”、“景德棲霞寺”、“虎穴寺”等。
1392年，明太祖朱元璋敕賜“棲霞寺”之名，一直沿用至今。
明代時的棲霞寺為靈穀寺統轄下的第二大刹，有山門一座，天王殿等7殿堂共36楹，僧院31房，僧眾百餘，寺基120畝。據葛寅亮《金陵梵刹誌》記載：“東至葛家巷，南至金石岡，西至本寺官街，北至攝山官路”，規模甚為龐大。
1392年，明太祖朱元璋敕賜“棲霞寺”之名。並詔賜贍僧田山1300畝，統轄小刹衡陽寺。明成化、嘉靖年間，棲霞寺荒敗淒涼，香火幾至斷絕。
1600年至1606年，住持明通對棲霞寺進行曆時7年的大規模修複，山門、天王殿、大雄寶殿、祖師殿、伽藍殿、藏經樓、韋馱殿、接引殿、三聖殿、地藏殿、鹿野堂、碧霞元君殿等建築鱗次櫛比，金碧輝煌。
明朝葛寅亮《金陵梵刹誌》有詳細記載，說當時進入山門，天王殿列四天王；再進為大雄殿，正麵為釋迦3身像，其背後為觀音3身像，兩側回廊為16尊佛像，皆莊嚴壯麗。
寺廟庭院中兩棵高大古老的銀杏樹，濃蔭蔽日。寺內還有居士吳彬繪的五百阿羅漢畫像。當時著名文士董其昌、顧起元等對畫像均有極高評價。
1648年，又對棲霞寺進行了修葺。清乾隆皇帝6次南巡，5次駐蹕棲霞行宮，留下了眾多的人文掌故。至清鹹豐年間，太平軍與清軍在棲霞一帶血戰經年，棲霞寺慘遭戰火破壞，從此衰敗不堪。
1919年，在鎮江金山寺出家為僧的宗仰法師朝禮九華山。途經棲霞寺，見其凋敝，於是應寺僧之請住持棲霞，致力振興。
宗仰法師在流亡日本時，結識了孫中山，並傾囊資助孫中山進行革命，而當他主持棲霞寺，發願重建這座千年古刹時，孫中山得知後率先捐獻銀萬兩，由於孫中山的支持，各方恭賀讚助的人很多，這對重建棲霞寺的重建起了很重要的作用。