築城年代は定かではない。城主は金子阿部太郎で、慶長5年(1600年)に大井氏の遺臣が決起したが仁賀保氏に攻められ、最後は赤館に籠もって抵抗するも敗れたという。
赤館は南東に伸びた丘陵に築かれている。
複郭の城で、北西から南東へ伸びた先が東へ続く尾根上に堀切で区画されおり、南端から東西に伸びた尾根に築かれているのが主郭部で、北西尾根にあるのが副郭となる。
主郭は東西両尾根を連続堀切で遮断し、南側面にはビッシリと畝状竪堀群を配している。東側は作業林道によって破壊されている部分があるものの、西の方は明瞭に残っている。
副郭も北端に堀切があり城域を区画しているが、主郭部ほど新しい構造ではない。
南麓に小さな墓地がある。墓地の左側の林道を登っていくと北尾根に達するので、そこから尾根伝いに行くことができる。また墓地の東側にも林道があり、つづら折れの道はそのまま主郭下まで到達している。