築城年代は定かではないが鎌倉時代に隈部氏の祖とされる宇野親治によって築かれたと云われる。
米山城は隈部館の東北東にある標高754mの峰に築かれており、猿返城とは尾根続きである。
米山城の主郭は山頂にあり米粒のような楕円形の曲輪で周囲に土塁があり東側は高くなっている。この土塁の一部に石積があり、虎口と見られる開口部もある。
山頂の主郭から南西に降りた標高700m前後の辺りに緩斜面地があり、この辺りに遺構が点在する。まず、南端部には東西に伸びた石塁があり、最大の見所である。南西尾根に降りて行く所には石塁による虎口状の遺構があり、ここから降りて行くと尾根に一条の堀切がある。
主郭から猿返城へ続く北西尾根にはやや離れた位置に堀切が二箇所残っている。
上囲(二タ俣)集落の所から横尾林道があり、この林道の終点から山腹にある遺構に登ることができる。林道は未舗装区画もあるが普通車でも登って行けそうな道で終点に駐車できる。