天正4年(1576年)奥沢氏によって築かれたと云われる。 奥沢氏はもともと八幡館を居城として角田氏(かくた)を称していたが、天正年間(1573年〜1592年)に大関氏が黒羽に進出し、角田氏は奥沢に移り住んで奥沢氏を称したという。
奥沢館は那珂川の西岸にある段丘上の平地に築かれていた。 国道294号線くらしの館交差点を西に進んで丘上に至ると交差点があるが、ちょうどこの交差点付近を中心に南北170m、東西180mと大型の単郭居館であったという。
交差点の東側に「犬追物跡 犬追馬場跡略図」という案内板が設置されているが、ここに掲載されている土塁と堀跡がそのまま奥沢館のものと思われる。現在はほとんど水田となっており、土塁は宅地脇に残っているようであるがはっきりとした土塁跡はわからなかった。また、「那須の戦国時代」には「奥沢館跡」の石碑の写真が掲載されているが、これも見あたらない。