建武3年・延元元年(1336年)飯尾隼人佑吉連によって築かれたと云われる。 飯尾氏は鎌倉幕府の初代問注所執事の三善康信の末裔を称し、阿波国麻植庄西方総地頭となって飯尾城を築いたという。
天正7年(1579年)脇城外の戦いで飯尾久左衛門常利は討死し、天正10年(1582年)中富川の合戦で兄の飯尾善之丞常重は討死、末弟の利隆が石原と名を改め帰農したという。
飯尾神社付近が飯尾城跡とされ、かつては鎧を埋めたと伝える鎧塚がその脇にあった。 鎧塚は百度石の奥にあったが子孫の方が掘り返して現存しておらず、塚からは何も出なかったという。