築城年代は定かではない。永禄年間(1558年〜1570年)に毛利軍が九州遠征したとき、山代地方の人質を取って桂兵部丞元親が関所山城に在番ていた。桂元親は安芸国桜尾城主桂元澄の子である。
関所山城は錦川に面して南へ張り出した尾根に築かれていた。 「日本城郭大系」によれば、「堀切が二ヶ所にあり、厩跡と称する所もある。」とするが、現在は宅地開発によって消滅している。
この城の正確な位置はよく分からず、付近を車で走ってみたが関連するようなものは見つけられなかった。「未指定文化財総合調査報告書 史跡-中世-編」の地図だと千歳台の辺りであろうか。県道15号線を少し山手側にいくと「関所」というバス停があるようだ。