延応2年(1240年)頃に志賀氏によって築かれたと云われる。 志賀氏は大友能直の八男能郷を祖とする一族で託摩氏、田原氏と並んで大友三家の一つに数えられる。
志賀氏の祖能郷が地頭職として瀬子に屋敷を構えのが始まりで、その後志賀城、騎牟礼城、岡城を居城とした。天正14年(1586年)には志賀親次が岡城に籠もって豊後へ侵攻した島津義弘の軍勢を退けている。
志賀氏館は用作公園(ようじゃく)の南西に隣接する瀬子にあったようであるが、はっきりとした位置はわからなかった。『大分の中世城館』によれば、「現在神社の境内他で遺構はない」とのことで、瀬子にある神明社に行ってみたが、これといってめぼしいものはなかった。
用作公園にある『もみじの名所用作公園』の案内板によれば、『用作』は志賀氏が瀬子に屋敷を構え、所有する用作田がなまって伝わったものだという。この用作公園には江戸時代にはいって岡城に中川氏が入部した後、家老の中川平右衛門が屋敷を構え、訓練場として馬場や的場などを設けた所という。