築城年代は定かではないが宇都宮氏(城井氏)によって築かれたと云われる。

宇都宮信房が地頭職を得て神楽城を築き居城としたとき、神楽城の鬼門にあたるこの地に毘沙門天を祀った。 その後、神楽城の出城の一つとなった。

城は神楽城の鬼門(北東)にある西から東へ伸びた丘陵の先端に築かれている。

尾根先には東西に長い平地があり毘沙門天が祀られているが、ここが主郭とされ、南北に帯曲輪があり、東の先端にも腰曲輪がある。

主郭の西背後は大堀切で、それを挟んだ西の尾根上は現在墓地となっているが、その背後に二重の堀切(というか三重土塁と表現するほうが良いか?)があり、その先は緩やかに登って堀切が一条ある。二重堀切の北側は現在は平坦であるが、後世に削られたものであろう。

神楽城と毘沙門城の間を東西に走る県道239号線沿いに毘沙門天の赤い鳥居があり、そこから登ることができる。