築城年代は定かではない。
『古戦場備中府志』では築城は鷲尾庄司武久によるもので、保元の乱で源義朝に味方して平家に所領を没収されたという。
鎌倉時代以降は赤木氏の城で、南にあった大光院は赤木氏の菩提寺とされ大光院薬師如来像が市指定文化財として残っている。
天文年間(1532年～1555年)には平松右京亮資直が在城していたが、天正2年(1574年)三村正親に従って国吉城に籠城して討死した。
袈裟尾城は標高630mほどの山に築かれている。
主郭IはＬ字状になっており削平は甘くやや傾斜する。周囲は高い切岸が巡っており、下方は帯曲輪状、部分的に横堀状になり、一部に竪堀が結合するがが不明瞭な部分が多い。北に堀切1、東に堀切2、西に堀切3と尾根を遮断するように巡っている。
主郭Iの虎口は南に張り出している部分と考えられ、この下方には土塁や竪堀が明瞭に残っている。北側にも虎口形状が確認できるが、遺構はどうか判然としない。
堀切3を挟んで西側に曲輪IIがある。曲輪IIは西側の切岸がしっかりしており、小規模な堀切4を築いている。削平は甘く、西側の切岸に面して削平してあるが、東側は不明瞭な段でそのまま高くなる。
南西側の道路から山に入る道があり、社から尾根伝いに山道が続いている。