『壱岐名勝図誌』によれば、「興神社第一の摂社なり、続風土記云、宗社と称すれば、古の国中宗社か、又は郡中管領神かなるへし、猶考えきなり」という。

律令政時代の国司は、国府の近くに総社を設けてそれを詣でることで、各社を巡ることを省くことができた。したがって壱岐の国府がこの総社神社の近くに眠っている可能性もある。

総社神社は幡鉾川の北にある南北に伸びた山の上に鎮座している。特に麓には鳥居のようなものもなく、参道は東側の民家脇から付いているが、それほど高い山でもなく、西の林道からでも簡単に行くことができる。

『長崎県中近世城館跡分布調査報告書』には城跡として「総社」という名前で記載があり、遺構として「空堀・祠」とある。城跡という意識がなく現地を訪れているので、色々と探し回った訳ではないが、総社の周りには溝を円形に切ってあり、これを空堀としているようである。ただ、周辺の地形を見ると防御のための堀ではなく、境内の境界を示すために掘られているようである。