築城年代は定かではないが芦田氏によって築かれたと云われる。

美作では毛利氏と宇喜多氏によって度々合戦が行われたが、宇喜多方の芦田右馬允の守る沖構も毛利氏によって攻撃され落城する。しかし、天正10年(1582年)備中高松城合戦で織田氏と毛利氏は和議となり、美作国は宇喜多氏に割譲することとなったが、美作の諸豪族はこれに反発して開城せず、各地で戦闘が継続された。 天正11年(1583年)宇喜多氏が沖構を攻めて落とし、再び芦田氏が城主となった。

現在は水田などに没しているが、かろうじて周囲より凹んだ水田が堀跡として残り、南北に長い方形の区画が見て取れる。

国道173号線と東西にはしる広域農道の交差点付近にコメリ(ホームセンター)があり、その東側に水田を挟んで石材店がある。この石材店を中心として周囲に堀跡とされる低い水田が残る。