築城年代は定かではないが宇都宮信房によって築かれたと云われる。 下野国の宇都宮信房が地頭職を得て下向し最初に築いたのが神楽城で、城井氏(きい)を名乗り、数代の居城となった。

その後、大平城を築いて居城を移した後は宇都宮氏の出城となった。

古くは高彦山と呼ばれ、神功皇后三韓征伐の時、この山で天神地祗を祀り、敵国降伏を祈り、凱旋の時この山で神楽を奏したと伝えられ神楽山と呼ばれるようになった。

城は祓川の西岸標高272.1mの神楽山山頂に築かれている。

山頂に本丸があり、南側に土塁があってこの土塁は途中鍵状に折れがあり、空堀を挟んで二の丸がある。二の丸の南も堀切でその南にもう一郭ある。

本丸の北は土橋の架かる堀切を挟んで曲輪が残る。北から西側面にかけて畝状竪堀群が残る。本丸の東側面に帯曲輪があり、不明瞭ではあるがここにも畝状竪堀群があるように見える。

旧国道486号線で木井地区に入り祓川沿いに走ると赤い橋が架かっている。これを西へ渡ると正面に木井神社があり、その境内から山頂に登山道がある。神社に向かって右側が登山道である。