永禄元年(1558年)に北畠顕範によって築かれたと云われる。 顕範は浪岡御所北畠具運の弟である。
永禄5年(1562年)川原御所の北畠具信との内訌によって北畠氏は衰退、天正6年(1578年)には津軽為信によって浪岡御所は落城し北畠氏は滅亡する。このとき滝井館も廃城となったが、その後、北畠顕忠の子顕佐が滝井館に住んで山崎氏を称したという。
山崎氏は江戸時代を通じてここに住み、明治に入って北畠に復姓。その後も子孫が在住しているという。
滝井館は高滝館会館の北西に築かれている。南の道路に面して案内板と標柱、東の県道入口にも標柱がある。堀や土塁が残っているようであるが、宅地のために確認できない。