別所城は標高312.3mの高良山山頂に築かれており、山頂から三方に伸びる尾根に遺構が残っている。
高良山山頂の三角点のある北東端の曲輪には土塁が残り、その下の尾根には二重の堀切が設けられている。北側の中腹には横堀巡らされている。
山頂から南西方向に曲輪が続いているが、段があまり明瞭ではなく、緩やかに勾配している所が多い。それほど高くないが両側には概ね土塁が残っており、一ヶ所曲輪を区画していたような土塁がある。南西端の下にも一条堀切が残っている。
途中から北西に方向に向かうとすぐに竪堀が二条西斜面に落ちているのが見える。さらに進むと公園へ降りる道があり、そこも堀切になっている。
別所城の西側の中腹には「高良大社奥の院」があり、ここは懐良親王の御在所となっていたとの説がある。