築城年代は定かではないが元暦年間(1184年〜1185年)に緒方三郎惟栄によって築かれたと云われる。 源義経が緒方三郎惟栄に命じて築かせたもので、賀来次郎が城主となり、賀来氏代々の居城となった。

その後、豊前に侵攻した大友氏に従ったが天正年間(1573年〜1592年)には宇都宮氏(城井氏)に属した。

天正14年(1586年)豊臣秀吉による九州征伐で侵攻した黒田孝高が押し寄せ、周囲を深田と沼池で囲まれた堅固な城構えに攻めあぐねたが、たまたま濠を渡った白い犬を見て弱点を知り、そこから城内へ怒涛のごとく攻め寄せ落城したという。

宇留津公民館周辺が城址で石碑と案内板がある。近年まで井戸と土塁などの遺構が残っていたらしいが、現在はまったく残っていない。