築城年代は定かではない。応永年間(1394年〜1428年)の城主は曽我太郎祐長であったといい、応永6年(1399年)大内盛見が豊前に侵攻した際に蛇面城主で弟の曽我九郎祐能が裏切り落城したという。
明神山城は彦山川の東岸にある丘陵に築かれている。丘陵は桑原神社を取り囲むようにあり、東側は土取により消滅しているが、南側の丘陵に城跡が残っている。
曲輪内は「竹の子取り禁止」の札とともに「立ち入り禁止」と書かれているので周囲の横堀沿いに眺めただけだが、東西に長く中央がやや低く三段くらいになっているように見える。曲輪の北側から東側にかけて横堀が巡らされている。