百年後，“不肯去觀音院”突遭火災，焚毀殆盡。
朝廷得知，賜銀重建，因為屬於新寺，不宜沿用舊名，所以稱為“寶陀觀音寺”。
此時的梅岑山，已漸有名氣，四方來朝，絡繹不絕。
誰想幾十年後，北宋滅亡，南宋朝廷偏安一隅，許多人進入梅岑山，卻有不法之徒混入其中，騷擾“寶陀觀音寺”。
有一個叫做真歇的禪師，奏明朝廷，朝廷便下令梅岑山中的人，除了僧人之外，全都遷去別處居住。
從此，梅岑山就正式成了佛門淨土，凡是進山朝拜的人，皆不得故意滯留。
與此同時，梅岑山就變成了普陀山，而多年後，世人隻知普陀山，卻不知梅岑山。
自從有了“普陀山”之名以後，此島便佛法興盛起來，香火鼎盛時期，全山有幾大寺，十幾座院堂，數十座寺庵。
也不知是那一年，南宋皇帝聽說普陀山是觀音菩薩的道場，不適合供奉其他佛陀菩薩，就下旨指定普陀山專門供奉觀音。
於是，普陀山中的大小寺庵，就全都供奉觀音，成為觀音菩薩道場，從此與五台山的文珠菩薩道場、峨眉山的普賢菩薩道場、九華山的地藏菩薩道場齊名，合稱中原佛教四大名山。
南宋滅亡後，元朝統治天下，舟山群島人口眾多，普陀山不再隻有僧人居住，不少漁民搬到島上生活，倒也相安無事。
然而，隨著元廷腐敗，中原各地起義不斷，許多造反的人出海做了海盜，橫行海上。
而那扶桑也正處於大亂時期，許多扶桑武士、浪人在本土不得誌，成群結隊下海接掠船隻，甚至跑到中原沿海一帶打家劫舍，倭寇之勢頓時大張，危害遠超從前。
普陀山本是佛門淨地，這麼一來，免不了受到衝擊，山中居民，包括寺僧，跑得跑，死的死，人數越來越少。
等到大明立國後，朝廷在舟山群島設立了昌國衛，捍衛大明國土，保護境內百姓，但因為海賊、倭寇勢盛，朝廷不勝其煩，沒有良策全殲，也就實施了禁海令。
普陀山乃舟山群島一員，島上居民自然也就遷入了內地。
那“寶陀觀音寺”本是島上最大寺院，占地頗廣，寺內僧人本不想走，可朝廷法令下來，不得不走。
不久，這座大寺院除了二三十個武僧外，就隻剩下幾百個官兵借寺駐守。
然而時隔一年，普陀山來了一夥倭寇，為首那人武功恐怖，將寺內僧人全都殺死，官兵也隻逃了數十人。
隨後，這些倭寇將全山找了個遍，可能就是尋找傳說中的“大羅丸”。
但他們什麼都沒有找到，一怒之下，放火燒山，不光是“寶陀觀音寺”，就連島上的其他寺院庵堂，絕大多數都變成了廢墟。
不過半年之後，普陀山來了一個老僧，帶著一個小和尚，在普陀山南部一處叫做紫竹林的地方搭建了一座小院堂，取名為“觀音庵”。
師徒二人隱居山林，吃齋念佛，過著清苦日子。
有一段時期，先後有十幾股海盜、倭寇湧入普陀山，想霸占此山。
可那老僧神功不凡，無論來多少人，哪怕是絕頂高手，也全都不是他一人的對手，統統被他趕走。
從此，普陀山就再也沒有匪類敢去普陀山撒野。
於是，那老僧就有了“神僧”之名，舟山群島一帶沒有不知道他的的，個個把他叫做“普陀大師”。