築城年代は定かではないが南北朝時代に築かれてたと云われる。 南朝方の拠点の一つとして築かれ、延元2年には潮田刑部左衛門尉幹景が軍勢を集めて籠城していた。
神山城は櫛田川に面した標高131.3mの山に築かれている。
神山城は古刹一乗寺のすぐ裏の山に築かれているが、一乗寺の参道は麓から石段を登った先にある。
主郭は円形で西に幅広の虎口らしき窪みがある。所書くの北西下には弓形状になった横堀があり、主郭の東下も横堀であったと思われるが、近年木を伐採するのに重機が上がっており、遺構が損なわれている。
一乗寺の参道は県道が鉄道と交差する付近の旧道側にあり、近くに駐車可能。山門からの道は南の県道に出てくる。
最寄り駅(直線距離)