築城年代は定かではない。城主は新斗米左近で本姓奈良氏。鹿角四十二館の一つ。

新斗米館は根市川と間瀬川に囲まれ、西に舌状に伸びた丘陵に築かれている。谷を挟んで北に小平館、小枝指館がありそれぞれ本姓奈良氏で同族関係にある。

新斗米館は南の中段に八幡神社のある曲輪が本館と伝えられる。丘陵には空堀で区画された曲輪群が多数存在する。