築城年代は定かではない。城主は矢野伯耆守、矢野備後守父子でともに天正10年(1582年)中富川の合戦で討死したという。
矢上城は勝瑞城西大手口を守る支城であったといい、天正10年(1582年)中富川の合戦では、三好(十河)存保が矢上城に本陣を据えて指揮したと伝えられる。
矢上城は正法寺橋の北側一帯、矢野医院のあたりにあったと考えられている。
明瞭な遺構はないが、「石殿」と呼ばれる小さな祠が矢野医院の西側の水田の一角に残されている。
城主とされる矢野備後守の墓は昭和初期に建てられたものが矢野屋敷にあったが、いまはなくなっている。また『三好一族と阿波の城館』には矢野備後守の墓として小さな石地蔵の写真が掲載されており、近所の方に聞いたところ、見たことはあるがどこにあったかは忘れてしまったということで、探し出すことはできなかった。