往古より毘沙門山の頂上にあった小堂は寛文2年(1662)の時に現在地に移りました。開山は長穂龍文寺第21世笑峰守山大和尚です。
元文5年(1740)再興され、中興の開基は泰岳石雲和尚と伝えられます。その後お堂が破損したので、文化年間(1800年頃)に温品宇平政安が再建しました。現在の本堂、位牌堂は昭和10年(1936)に新築されました。
本尊は仏師定期の作と言われる毘沙門天で総高143センチメートルの寄せ木造の立像です。その金色に輝く姿には目を奪われます。本寺に掲げてある額「金剛山」は江戸の書家佐々木玄龍の筆であり、力強い印象を与えます。堂内には享保20年(1735)に造られた半鐘、境内には仏塔の一種である宝篋印塔、お地蔵様、66部の板碑、禁牌石があり、遠近より参詣人が絶えなかったようです。