築城年代は定かではないが応永年間(1394年〜1428年)頃に芦野氏によって築かれたと云われる。

応永年間(1394年〜1428年)に館山城を築いた芦野氏が芦野館より移り、天文年間(1532年〜1555年)に芦野城を築いて移るまでの芦野氏の居城といわれている。

館山城は菖浦川の西岸にある館山に築かれている。館山は芦野石の採石場となっていて東側は断崖になっている。