天文3年(1534年)市原石見守兼継によって築かれたと云われる。 市原氏は代々瀬詰城主であったが、大塚二町地を井上城主土肥因幡守綱真に頼んでこの土地と交換してもらい城を移ったという。
青木城は吉野川南岸の段丘の北端に築かれていた。 現在は古城大師堂が建ち、墓地や宅地・田畑となっており、道路に面して石碑と案内板が設置されている。
日本城郭大系に掲載された略図では西と南に堀を設けて台地の北端部を切り離した城であったようだ。南側は二重堀だったのか、矢塚の南側に水堀があったようだ。この矢塚は現在でも確認でき、塚というよりは土塁といった感じで東西に伸びている。