築城年代は定かではない。 富永氏は三河国設楽郡発祥の御家人で、応仁の乱前後に伊豆へ移住してきたものと考えられている。

富永氏は北条早雲の伊豆侵攻によって北条氏に従ったものと考えられ、富永政辰・康景・政家は江戸城の城将を務めており、所領は千三百貫余りで北条家の中でも高禄である。 富永政家の嫡男富永直則は徳川家康に仕え、江戸時代は旗本になっている。

富永氏館は光源寺の南側一帯に築かれていたと考えられている。 遺構はないが付近には「御殿」・「馬出」・「小門」・「堀小路」の地名が残る。 富永氏の菩提寺は土肥小学校の隣にある清雲寺(高谷城参照)である。

光源寺は土肥金山奉行市川助右衛門尉が開祖という。