築城年代は定かではないが承久年間(1219年〜1221年)あるいは延応年間(1239年〜1240年)頃に中島刑部少輔宣長によって築かれたと云われる。
中島氏代々の居城で、永和2年(1376年)高家城で合戦が行われている。中島氏は周防の大内氏に従っていたが、弘治2年(1556年)大友軍の豊前侵攻で大友氏に従った。永禄9年(1566年)大友氏が高尾城の麻生親政を攻めたとき、中島伊予守房直は搦手口の総大将となって高尾城を攻め落とした。
天正17年(1589年)中島伊予守統次のとき、黒田氏に攻められ落城。統次は向野城の松尾民部を頼って落ちたが、民部が黒田氏に通報したため自刃して果てた。
高家城は現在の東高家集落に築かれていた。 『大分の中世城館』によれば、金剛頂寺の東側辺りを主郭部とし、堀や土塁が集落内に部分的に残っているという。民家の敷地内などで遺構の確認は難しそうであった為、線路の南側にある中島伊予守の墓や首塚というのを探しに行ったが、これもよくわからなかった。