築城年代は定かではない。
天正年間(1573年~1592年)はじめに宇喜多の武将花房職秀が西屋城を攻略し、苔口宗十郎利長が守将となっていた。
宇喜多氏が毛利方から織田方に転じると、毛利方であった葛下城主中村頼宗を中心に西屋城は度々攻められたが落城しなかった。宇喜多氏は小田草城主であった斎藤近実を西屋城に籠城させるなど守兵を増強していたが、天正10年(1581年)毛利氏によって落城した。
毛利氏の手に落ちたあとの守将は定かではない。天正10年(1581年)毛利氏と羽柴氏が和睦して美作が宇喜多領となると、宇喜多氏の家臣川端丹後守家長が在城したという。
西屋城は西屋集落の北東背後に聳える標高514.7mの山に築かれており、現在は登山道が整備されている。
西屋城は西峰の南北に伸びた尾根側に主郭、東峰の東西に伸びた尾根に二郭、三郭を備える比較的大きな山城である。
主郭は三角点のある西峰で、山頂のI1を主郭とし、南に四段ほどに区画されたI2、北に土塁の付いたI3の曲輪がある。南端のI2には南西隅に虎口らしき開口部があり、右折れで入る枡形状であるが、主郭にある無線塔のケーブルがつけられており、後世の改変の可能性もある。
主郭の北尾根は堀切4、南尾根は堀切2と小規模な堀切1で遮断しており、南尾根はさらに離れた尾根先に曲輪IVが残っている。一方西尾根は急坂であるが、I1の西下に堀切3が確認できる。I3からも同様に西に尾根が続いているが、こちらは堀切は認められない。
東峰の二郭は最高所のII1を中心に東西に長く、東端は低い土塁が付いているようだ。周辺には腰曲輪II2~II4があり、北側面に竪堀6があるが、II3から続く北東尾根には堀切は見当たらない。
三郭は二郭の北東下にあり、堀切7と堀切8の間に南北二段になった曲輪で北端と南端に土塁が確認できる。
登山道入口は南東麓にある泉神社にあり、入口に道標が付いている。泉神社に駐車場がある。
登山道はほぼ作業林道で東西両峰の鞍部のところに上り詰めるようになっている。