築城年代は定かではないが隈部氏によって築かれたと云われる。 隈部館を居館とした詰城。
猿返城は隈部氏館の北東背後に聳える標高682.4mの「城床」と呼ばれる山頂に築かれている。猿返山はこの峰の南にある標高625mの峰である。
主郭は山頂にあり東西に細長く伸びた曲輪で上下二段の帯曲輪程度の曲輪で、北側に土塁が付く。そこから南へ降ると東西に長い帯曲輪が二段あり、さらに南に小さな平段がある。
以前隈部館を訪れた時には登山道入口のような道標を見た記憶があるのだが、今回訪れたときには見つけられなかった。登山道としては隈部氏館側から登るルートと、上囲(二タ俣)から登るルートがあるようで、何れも猿返山と猿返城の間に鞍部に登るようになっている。ただ、現状では整備された登山道は存在していない。
今回は米山城から尾根伝いに猿返城へ縦走し、上囲(二タ俣)へ下山した。上囲への登山道は確認できず、山をそのまま下りていくだけである。反対側の隈部氏館側へ降りるルートは「岩場ルート」と呼ばれていて、道標は出ていたのだが、それまでの状況から判断してそちら側を使用しなかった。