大山祇神は「おおいなる、やまにすむ神」であり、日本全国の山の総管理者です。娘に富士山の神である木花咲耶姫(このはなさくやひめ)や、浅間山の神である石長姫(いわながひめ)がいらっしゃいます。

一般には、静岡県の三嶋大社の御祭神と同体と考えられています。

この神社は三島水軍に篤く信奉され、多くの甲冑が奉納されてきました。ここには全国の国宝・重文の甲冑の実に８割が保管されています。

なお、この島の隣には「西日光」として知られる耕三寺のある生口島があります。