築城年代は定かではない。

承久2年(1220年)鎌倉幕府の政所から両所修造の督促状があり、その宛名が「北目地頭新留守殿」となっており、北目館はこの新留守殿の館跡とされている。

文治年間(1185年〜1190年)に菅原氏が定住して、現在もその末葉が在住しているという。

戦国時代には菅原氏は武藤氏に属していたが、北目山の境界を巡って下野沢氏と対立して争った。天正15年(1587年)東禅寺氏が武藤義興に背いたとき、武藤氏に組みした。

江戸時代には北目組の大組頭を命じられ明治維新を迎えたという。

北目集落の三上神社の南にある民家が楯跡である。道路に面して堀跡が残り、屋敷の脇に土塁が残っている。