築城年代は定かではないが伊東氏代々の居館があったという。 伊東氏の祖は伊東祐隆(工藤祐隆)で、自身は出家して久須美入道を称した。嫡男祐家は早世していたため、後妻の娘の子祐継を嫡子に迎え伊東祐継と名乗らせ家督を継がせた。しかし、早世した祐家に遺児がおり、祐隆はこれも養子に迎え、後に河津荘を与え河津祐親(伊東祐親)となった。
伊東祐継が没すると祐経が家督を継ぐが、幼小であったため河津祐親が後見人となり、元服した後、祐親の娘満江御前を祐経の正妻として伊東家の家督を継いだ。しかし、祐親は自身が伊東氏の嫡流であるとして、伊東祐経が上洛しているうちに、伊東荘を横領し、河津荘を嫡男河津三郎祐泰に譲って、自身は河津から伊東へ移り伊東祐親と名乗った。さらに祐経に嫁がせていた満江御前を奪い、土肥遠平へと嫁がせた。これを恨んだ祐経は刺客を放ち伊豆の奥野の狩場で伊東祐親の嫡男河津三郎を討った。これが後に曽我物語となった曾我兄弟の仇討ちへと繋がる。
源頼朝が平治の乱で伊豆へ流されると伊東祐親は監視役を任されたが、娘の八重姫は頼朝と通じて千鶴丸をもうけた。これを知った祐親は平家を恐れ、千鶴丸を松川の上流の淵に沈めて、頼朝も討とうとしたが失敗した。
源頼朝が平家打倒の兵を挙げると伊東祐親は平家方となり、治承4年(1180年)には石橋山の戦いで大庭景親らとともに源頼朝を撃ち破ったが、安房へ逃れ再挙兵した頼朝が勢力を盛り返すと富士川の戦いで伊東祐親・祐清父子は捕らえられた。祐親は娘婿の三浦義澄の助命嘆願によって助けられたが、身を恥じて自刃して果てた。
伊東氏は祐親の孫の伊東祐光が伊東荘を安堵されてその後も続き、戦国時代は小田原北条氏に従っている。伊東氏の一族工藤祐経の末裔は日向国都於郡城を居城として勢力を拡げ、江戸時代は日向国飫肥藩として存続、また、備中国岡田藩の伊東氏もいる。
伊東館の伝承地の一つとして伊東市役所の西隣にある物見塚公園がある。 伊東の市街地を見下ろす高台にあり、西には馬場、菩提寺である東林寺がある。
遺構はないが、物見塚公園には伊東祐親の像と「伝伊東家館跡と物見の松」の石碑が建っている。
東林寺は伊東氏の菩提寺で伊東祐親の墓は向いの丘の上にあり、河津三郎の墓と曽我兄弟の供養塔も東林寺にある。