築城年代は定かではないが天文年間(1532年〜1555年)に祖母井吉胤によって築かれたと云われる。 祖母井氏は桓武平氏で下野国芳賀郡祖母井の発祥で祖母井氏を名乗ったのに始まる。

代々宇都宮氏の家臣で永禄元年(1558年)上杉謙信が宇都宮を攻めた時、信濃守吉胤は矢板周防守らと防戦して撃退したが、この時討死したという。

慶長2年(1597年)主家宇都宮氏が改易となると祖母井氏も没落したという。

芳賀町体育館の北に小さな公園があり、このあたりが本丸跡とされ説明板がある。東側にあるホテル糸屋の所にわずかに残っている。

現在の芳賀町役場の所に鍵形の土塁が残っていたらしいが、これは役場建設のおりに消滅した。