詳細不明。美作菅家の一族皆木氏・豊田氏の居城と伝えられる。

加賀尾城は淀川の東岸にあり、杉神社の南にある比高40m程の丘陵に築かれている。

主郭は山頂にあって南北に長く北端に土塁が残っており、周囲は比較的高い切岸になっている。南側は緩やかな地形が続き、北側はやや平坦な地形になっているが、主郭ほど明確な切岸は設けられておらず遺構の判断は難しい。

城山の北側にある杉神社に向かう道から林道が通じている。