据记载,康熙末年有位黄姓漳州人士,将开漳圣王的香灰携带来台,挂于碧山顶上的神石之后便离开,有信徒兴建庙宇安置灵位,并经过不断整修整建才有如今宏伟的规模,一直以来都是五指山区香火最鼎盛的庙宇。
碧山严除了建筑雄伟壮丽,其庙内雕刻亦十分讲究。据熟知其庙历史的居民所述,该庙所有的木雕及石雕作品皆在庙内完成,雕刻师父必须在山上制作每件作品,以免雕像在搬运过程中有所毁损,此庙周围有桃园三结义、岳母精忠 报国刺字、慈母园等石像。
碧山岩居高临下,可俯瞰整个台北盆地,黄昏之夕阳余晖动人,夜景亦非常有名,每每华灯初上,月下成双成对,分外浪漫。