城主は久米安芸守義広と伝えられる。
久米義広は主君細川持隆が三好実休によって見性寺で自害に追い込まれると、これに反発して天文22年(1553年)挙兵する。義広方は野田山城主野田内蔵助、花房城主仁木日向守、佐野須賀城主佐野丹波守、蔵本城主小倉佐助らであったが、槍場の合戦で敗れ、ことごとく討死したという。
芝原城の位置ははっきりしない。『阿波志』には「八幡祠蔵珠院、里正宅蓋し皆其址也」とあり、現在の八幡神社と隣接する蔵珠院のあたりを城跡としている。
蔵珠院にはいつの頃に作られたものかわからないが、全国で唯一という、螺旋状の通路をつけたすり鉢状の井戸がある。