築城年代は定かではないが奥瀬氏によって築かれたと云われる。 奥瀬氏は南部氏に従って甲斐から下向してきた小笠原安芸守の後裔という。
慶長3年(1598年)『館持支配帳』に「奥瀬館千石奥瀬内蔵之介」とある。
奥瀬館は浄雲寺の南、北へ伸びた丘陵の先端に築かれており、現在は公園として整備されている。
公園造成によるものなのか、明瞭な城の遺構はなく、広く削平された公園で桜が植えられている。井戸跡が残るとされており、大きく窪んでいる部分だろうか。
公園に登ってくる途中には小笠原牧場というのがあるが、奥瀬氏と関係があるのだろうか。
公園内に駐車可能。丘陵の北麓に標柱がある。