築城年代は定かではない。鍋倉城主阿曽沼氏の一族火渡氏の居城という。

慶長5年(1600年)鍋倉城主阿曽沼広長が 南部利直に従って山形へ出陣していて留守の時、この戦に従軍しなかった一族で鱒沢城主の鱒沢広勝が謀叛を企て、留守番であった上野広吉、平清水平右衛門も加わった。このとき火渡玄浄だけはこの誘いに乗らなかったため鱒沢らに火渡館を攻められた。攻め立てられた玄浄は大槌氏を頼って城を脱出しようとしたが露見して討ち取られたという。

後に玄浄の子左助が南部利直に山口村50石で取り立てられ、山口氏を称したという。

火渡館は火渡集落の東背後の山に築かれており、主郭は愛宕神社の境内となっている。

主郭は神社があるところで、南背後に堀切、東尾根は三重堀切になっている。東尾根を遮断する三重堀切の内側二条は主郭の側面から北西の尾根先方面に横堀として続いており、やがて帯曲輪となる。南側にも伸びており、参道脇にある竪堀のような細い溝は古い参道の名残りかと思ったが、堀の延長にあるかもしれない。

主郭部は山頂の曲輪から北西方向に伸び、西下、東下に帯曲輪を多段に設けている。その先に堀切があり、堀切から北が二郭となる。二郭も帯曲輪が多段になっている。

参道は南側についており、民家の間の山の裾野のところに鳥居が見えている。付近に駐車場はなく、南に少し離れたところにある集会所のところに止めた。