築城年代は定かではない。

天正年間(1573年〜1592年)に雑賀安芸守が処り、佐々成政が陣を布いたとも伝えられる。雑賀安芸守は川合田館の主とも伝えられる。

遊部城は方形居館であったと見られている。

遊部城は遊部地区の熊野神社の南西付近にあったというが、現在は遺構は残っていない。熊野神社にある石碑に遊部城に付いて少し記されており、熊野社南西の水田にある常楽寺跡の案内板のある所には出土した五輪塔がある。