その昔智証大師が日原の大日如来窟で修行中、紫雲たなびくこの霊山を望見して当山に登り降魔の修法を行っているその時、剣を持ち波を切る不動明王の形が眼前に出現し、そのお姿を彫刻して波切白不動明王として祀ったとの伝説があります。
　以来山岳信仰の一翼を担い密教修法の場となり秩父の畠山重忠公が信仰し諸堂を再建したと伝えられています。幾多の災害に見舞われながらも復興され文化文政時代に現在の不動堂が建立されております。