築城年代は定かではないが河津氏によって築かれたと云われる。 河津氏は藤原南家の工藤氏の庶流で、伊東祐隆(工藤祐隆)の孫の祐親が河津荘を領したことに始まる。
「曽我物語」で著名な曾我兄弟の父が河津三郎祐泰である。河津三郎は父伊東祐親と工藤祐経の所領争いに巻き込まれ、伊豆の奥野の狩場で工藤祐経の刺客の放った矢によって落命した。河津三郎の子曾我祐成・時致兄弟は母の再婚先の相模国曽我荘で育ち曾我氏を称していた。建久4年(1193年)富士の巻狩りで曾我兄弟は父の敵である工藤祐経を討ち、祐成は討死、時致は捕らえられ処刑された。
川津館は河津八幡神社一帯に築かれていたという。遺構はないが、河津八幡神社には曽我兄弟の像や河津三郎の力石がある。河津三郎は相撲の決まり手である「河津掛け」の考案者と伝えられる。
河津三郎の墓は伊東市の東林寺にあり、曾我兄弟の供養塔もその側にある。写真は伊東館を参照。