築城年代は定かではない。 古くは奥平氏が作手に来往する以前に米福長者に築かれていたとも推測されているが定かではなく、元亀年間(1570年〜1573年)に奥平氏と武田氏の和睦の際に築かれたものと云われている。
塞之神城は標高628mの山頂に築かれており、東には武田氏の拠点である古宮城、南西の尾根続きには奥平氏が築いたとされる文殊山城がある。
塞之神城は頂部に主郭があり、北東側を除いて土塁が巡らされている。虎口は南と北東部にあり、南側はスロープを降りて南西下の土塁の付いた小郭を経て土橋の付いた堀切へと続く。北東の虎口はそのまま尾根へと降りているが、主郭の東下には土塁が巡らされた小郭があり、東に開口する。
主郭から南西に伸びる尾根に二郭があり、三角形で南と西へ続く尾根を堀切で遮断している。この堀切に面して小さな土塁が付いている。
南側の山腹には大きな竪堀状の溝があり、東縁はやや高く土塁状になる。これを降りた所に井戸跡が残る。
文殊山城から遊歩道が続いている。林道の途中からも登ることができる。