築城年代は定かではないが天正年間(1573年〜1592年)頃に尾池玄蕃義長によって築かれたと云われる。 尾池氏は平頼盛の後裔を称し、細川禅定に従って信濃国から尾池玄蕃保俊が讃岐へ来住し、二千貫を賜って横井城主となったのが始まりという。
天正年間(1573年〜1592年)に生駒親正が讃岐に入封したとき、尾池保衡が生駒氏に出仕し、保衡の三男義長が青野山城を築いたという。
青野山城は三宝大荒神という小さな社の一帯に築かれていたという。「日本城郭大系」によれば、わずかに堀跡を偲ばせる浅い湿地が残るとあるが、現在はこれもよくわからなくなっている。