飛來峰，又名靈鷲峰，相傳1600多年，印度僧人慧理來到這裏，觀峰歎道：此天竺靈鷲山之小嶺，不知何以飛來。故名飛來峰。

山高一百六十八米，山體由石灰岩構成。面朝靈隱寺的山坡上，有五代的佛教石窟造像，多達三百四十餘尊，最著名的有西方三聖像（五代）、盧舍那佛會浮雕（北宋）、布袋和尚（南宋）、金剛手菩薩、多聞天王、男相觀音（均為元代）；

飛來峰多岩溶洞壑，如龍泓洞、玉乳洞、射旭洞、呼猿洞等；飛來峰上廳岩怪石；老樹古藤，明人袁道曾盛道：湖上諸峰，當以飛來為第一。