築城年代は定かではないが永禄6年(1563年)頃に佐藤伊勢好信によって築かれたと云われる。佐藤氏は源義経の家臣佐藤忠信・継信兄弟の後裔を称し、好信ははじめ岩城氏の家臣であったが、後に相馬顕胤・盛胤に仕えて軍奉行を務めた。天文11年(1542年)伊達輝宗との合戦の功により磯部・日下石など宇多郡の内六ヶ村を領しはじめ磯部館(佐藤伊勢館)に居を構えた。しかし、海水による浸食が激しく鬼越館を築いて居を移したという。

好信の子佐藤宮内為信は永禄9年(1566年)伊倶郡小斎城代となり移ったが、天正9年(1581年)謀叛を起こして伊達氏に仕えた。これは父好信が郡左馬助の諫言により三ヶ村の所領を没収され、天正7年(1579年)無念のうちにに病没したことを恨みに思い、郡左馬助を討って亘理元宗を介して伊達氏に属したもので、伊達氏においては家格を一族に列せられた。

鬼越館は浜街道(国道6号線)の東にある標高40m程の山に築かれている。

鬼越館は東端にある主郭から西へ二郭、三郭と連なり三郭には神社が祀られている。 主郭と二郭はわずかな段差しかなく、併せて主郭と見たほうが良い。二郭と三郭の間には虎口があるが、南北の土塁を並行に二条用いて坂虎口を形成している。

主郭の北側には土塁があり、北に向かって張り出しがある。この土塁の下方に張り出しを巡るように空堀があり、空堀は主郭の東背後に至り堀切として遮断している。

主郭から南へ伸びた尾根にも削平地があり、その先端付近には両側に土橋を残した堀切のような窪地がある。

山の西麓に神社の参道入口がある。この参道は山の北側から民家の脇の道を入った所にあるのだが、ややわかりづらい。