築城年代は定かではない。城主は相去安芸の名が伝えられる。

和賀氏領の南の境に位置し、文明2年(1470年)和賀定義は江刺河内守と戦い、翌3年には葛西政信と胆沢郡で戦って和賀氏は相去へ退いている。

城は北上川の西岸にあり、洞泉寺の南西の小山に築かれている。

相去城は主郭の西から南へ空堀を設けて小山の北東隅部を曲輪として確保している。北東隅には鐘楼が設けられているが、そこへ通じる道が堀のようでもある。西の堀はその外に二条の細い堀があり、三重の堀になっている。中央の堀は途中で屈折しているが、堀と堀の間には曲輪を形成する程の面積はなく、どのような理由で屈折されているのかわからない。

洞泉寺の南にある安住観音菩薩の駐車場に標柱が建っており、ここから山へ通じる道がある。