築城年代は定かではないが伊佐野氏によって築かれたと云われる。 伊佐野氏は佐治氏の庶家で、佐治越前守為継の三男が伊佐野を領して、伊佐野上野介為綱と名乗ったことに始まるという。
伊佐野城は八幡神社の西側一帯に築かれた群郭式の平城で、その規模は東西200m、南北150mを越える。
集落の北側の茶畑や林、竹林になっている部分に土塁や空堀で区画された曲輪群が残されている。大半の遺構は確認するのが難しい状態であるが、八幡神社の境内の西側に土塁と堀を確認することができる。
八幡神社の由緒に伊佐野氏についての記述がある。