詳細不明。

日本城郭体系によれば城主は安原民部小輔とある。陰徳太平記 巻第六十一「伯州長郷田合戦事」によれば、安原民部小輔は神辺城主で後に伯耆国尾高城主となった杉原盛重の家臣で、伯耆国長郷田合戦で南條元続の家臣広瀬若狭守を討ち取っている。

また日本城郭全集によれば、室町時代初期に真瀬三河守重兼による築城で、永享6年(1434年)岩成城主高木伊豆守持明の攻撃を遍照寺山城に籠って撃退し、逆に岩成城を攻撃した。天文7年(1538年)大内氏に攻められ落城したとある。

遍照寺山城は遍照寺の西の山頂に築かれており、"く"の字状になった山頂部に曲輪が残っている。

南の曲輪群は山頂部に神社が祀られていたのか基壇が残っている。 北の曲輪群は北端を起点として東と南に削平地があり、東へ伸びた削平地は北側面に若干土塁が残っている。

遍照寺まで車で登ることができる。遍照寺の脇から西へ続く道がある。