築城年代は定かではない。 吾妻鏡の建長元年(1256年)6月2日の条に「奥の大道を警固するべき路次の地頭」として芦野地頭があり、この人物が芦野館主であったとみられている。
芦野氏は応永年間(1394年〜1428年)に館山城を築いて居城を移し、天文年間(1532年〜1555年)には芦野城を築いて居城としている。
芦野館は菖浦川と奈良川に挟まれた平地に築かれている。 現在は畑地で圃場整備された水田の中、微高地の畑として残されている。
館は南北150m、東西120m程の規模で北がやや狭く南が広い不整長方形で周囲には土塁と堀が巡らされていたが、現在はほとんど残っていない。