築城年代は定かではないが元暦年間(1184年〜1185年)に緒方三郎惟栄によって築かれたと云われる。 源義経が緒方三郎惟栄に命じて築かせたもので、賀来次郎が城主となり、賀来氏代々の居城となった。
その後、豊前に侵攻した大友氏に従ったが天正年間(1573年〜1592年)には宇都宮氏(城井氏)に属した。
天正14年(1586年)豊臣秀吉による九州征伐で侵攻した黒田孝高が押し寄せ、周囲を深田と沼池で囲まれた堅固な城構えに攻めあぐねたが、たまたま濠を渡った白い犬を見て弱点を知り、そこから城内へ怒涛のごとく攻め寄せ落城したという。
宇留津公民館一帯が城跡で、公民館前に石碑や案内板がある。堀跡とされる塩田沼などは埋め立てられており、現状では遺構は見あたらない。