“溪山處處皆可廬，最愛靈隱飛來峰”，蘇東坡詩句中所提到的便是別名“靈鷲峰”，有著“東南第一山”美譽的飛來峰。飛來峰怪石崢嶸，岩溶地貌造型或似蛟龍，或似奔象，或似臥虎，或似驚猿，岩骨暴露，峰棱如削，再加上老樹古藤盤根錯節，猶如一座鬼斧神工造就的石質動物大觀園。而關於飛來峰和靈隱寺的傳說故事也是不勝枚舉。
關於名字的來曆，傳說有二。其中之一便是之前在敘述“靈隱寺”名字起源時所提過的，在1600多年前，印度高僧慧理來到杭州，看到這裏奇峰怪石，風景幽靜而絕美，驚訝地說：“此乃中天竺國靈鷲山一小嶺，不知何時飛來？”因此後人為此山取名飛來峰。
飛來峰，又稱作呼猿峰，或叫白猿峰。據說慧理法師宣稱這座山是天竺國飛來的靈鷲山嶺時，很多人對此將信將疑。慧理卻很有把握地說：“這山嶺向來住有兩隻猿猴，一黑一白。如果這山確係飛來，那麼黑白二猿也一定會相隨而來。”說完，他來到山腳的洞口，俯身朝洞內呼喚。果然，隨著他的喊聲，有一隻黑猿和一隻白猿從洞中奔躍而出。大家這才相信他的話，把這個洞稱為“呼猿洞”，把這座山峰稱之為“呼猿峰”。
關於靈鷲飛來和黑白二猿相隨的說法當然是傳說，但是慧理法師在此開建靈隱寺後，確確實實養過一隻白猿。據記載：慧理法師養的白猿很通人性，非常活潑。白天，它在溪澗中嬉耍跳躍；夜晚，鬆風低鳴，明月高懸，澗水叮咚，白猿偶一吟嘯，淒哀婉轉。慧理為此有“引水穿廊步，呼猿繞澗跳”的詩句，描述自己養白猿的樂趣。靈隱的猴群最多時是在南朝劉宋時期，有一個法名智一的僧人，敬仰慧理法師，養了一大群猴子，智一法師也因此被人稱為“猿父”。自此以後，靈隱山穀間就時常有猴子出沒。一座怪石嶙峋的山峰，一條清澈透亮的冷泉，雜以鬆鳴水吟，偶或響起一聲猿嘯，此情此景的確給人以無窮的情韻和遐想。因此南宋曾定臨安錢塘景色，共有八景，而“冷泉猿嘯”即為八景之一。當時的遊人常把到冷泉邊聽猿嘯當做重要的遊覽內容，文人墨客更是以此為題材，寫下不少詩篇。如南宋浙江嵊縣人吳大有即作有《聽猿》一詩。詩寫道：“月照前峰猿嘯嶺，夜寒花落草堂春。同來蜀客偏腸斷，曾是孤舟渡峽人。”詩人大約是陪同一位四川客人來遊玩的，客人坐船沿長江三峽而下來到杭州。三峽兩岸的猿嘯淒哀令人悲涼不已，現在在這裏又聽到猿嘯，難免勾起鄉情而哀痛腸斷了。
宋元以後，靈隱的猿猴逐漸減少，到清代時已經很難再見到猴子，不過從零星的記載中還可以尋到猴子的蹤跡。清順治六年(1649年)，靈隱寺有僧人看見過白猿，它通身皎潔，白如積雪，在月光映襯下更顯潔淨可愛。1651年，僧人們又在青蓮閣下看見一隻黑猿。那黑猿居然頭上戴著一頂鬥笠，像是在匆匆趕路。僧人們一齊驚呼起來，那黑猿受了驚嚇，發出一聲輕微的吟叫，然後跳過溪澗奔竄而去。當時人們覺得這一白一黑的猿猴出現很神奇，有人甚至認為這就是慧理法師當年從呼猿洞呼喚出來的黑白二猿。從慧理法師開山建寺到清順治年間，其間曆經1300多年，黑白二猿的壽命也太令人不可思議了。但靈隱山穀間早年有猴子卻是事實，而猴子的最早的豢養人就是慧理法師。他為靈隱寺這巍巍禪寺奠基開山，同時也為靈隱山穀增添過“猿嘯”這一景觀。
另一種說法與大名鼎鼎的濟公和尚有關，他是中國佛教史上最富傳奇色彩的神僧，為十八羅漢中的降龍羅漢。濟公確有其人，他是浙江台州人，原名李心遠，出家法名“道濟”。他破帽破扇破鞋垢衲衣，貌似瘋癲，初在杭州靈隱寺出家，後住淨慈寺，不受戒律拘束，嗜好酒肉，舉止似癡若狂，是一位學問淵博、行善積德的得道高僧，被列為禪宗第五十祖，楊岐派第六祖，撰有《鐫峰語錄》十卷，還有很多詩作，主要收錄在《淨慈寺誌》《台山梵響》中。他懂醫術，為百姓治愈了不少疑難雜症。他好打不平，息人之淨，救人之命。他的扶危濟困、除暴安良、彰善罰惡等種種美德，在人們的心目中留下了獨特而美好的印象。
濟公南宋初年在靈隱寺出家，是高僧瞎堂法師的徒弟。他雖然不守清規戒律，平時是一副“鞋兒破，帽兒破，身上袈裟破”的形象，但他酒肉穿腸過，佛祖心中留，為人正直善良，又神通廣大，深受老百姓的喜愛。濟公智鬥秦丞相，懲治嘲弄貪官汙吏，而他的行為又常常是以嬉笑怒罵、幽默諷刺的形式出現。至今流傳著“濟公鬥蟋蟀”“運木古井”等許多有關他的傳奇故事。濟公非常熱心，樂於助人，寺中有老病僧人，他常為之采辦藥石。行遊時為市人誦經下火，解憂排難，常常靈驗，因此為人傳誦。濟公一生飄逸，喜好雲遊，出行四方，足跡遍及浙、皖、蜀等地，衣衫不整，寢食無定，神來神去，行蹤神秘莫測，瘋瘋癲癲。老百姓尊稱其為“濟公活佛”。濟公住過的淨慈寺有濟公殿和運木古井。相傳濟公睡夢中去四川募化木料，古井與海相通，木料由海上運來，一根根從井中浮出，這些木料修好了寺廟大殿。濟公圓寂後，葬在杭州虎跑，虎跑泉西有二層樓高的濟公塔院，是其葬骨處。一生任性逍遙、遊戲人生的濟公活佛，注重修心，不拘形式，放浪形骸，他所彰顯的是一種自然天真、隨緣入世的度化精神。
濟公天性好動，不喜念經，難耐打坐，經常和那些頑童廝混在一起，作呼洞猿、鬥蟋蟀的遊戲。甚至蘸大蒜吃狗肉，僧眾告到方丈室，慧遠卻說：“佛門之大，豈不容一顛僧！”於是他又被人們稱作“顛僧”。慧遠圓寂，他失去庇護人，被迫轉到淨慈寺，先是替人念經兼作火化工，後來升了書記僧，卻依然出入歌樓酒肆，遊山逛水。他寫詩自述：“削發披緇已有年，唯同詩酒是因緣。坐看彌勒空中戲，日向毗盧頂上眠。撒手須能欺十聖，低頭端不讓三賢。茫茫宇宙無人識，隻道顛僧繞市廛。”活脫脫的一幅“遊戲人間”的自畫像。從外表看，這位號稱“湖隱”、“方圓叟”的窮和尚，破帽破扇破鞋垢衲衣，似丐似氓，非僧非道，實際上卻是禪宗楊岐派第六世得道高僧。他學識淵博，擅詩善文，出語諧謔，往往超詣。台灣著名學者南懷瑾對他的四首《西湖》絕句和臨終偈語尤其讚賞，說“若以詩境而論詩格，他與宋代四大家的範成大、陸放翁相較，並無遜色；如以禪學的境界論詩，則已臻禪境之極詣”。略舉其一：“出岸桃花紅錦英，夾堤楊柳綠絲輕，遙看白鷺窺魚處，衝破平湖一點青。”畫麵色彩鮮明，動靜諧合，情趣內蘊，用筆精細而又不失自然，末句尤有神韻。他每有疏狀新出，臨安城更是爭相哄傳，聞名遐邇。