城主は高志下野守清之で小笠原氏の一族という。清之の子、高志右近清久は天正10年(1582年)中富川の合戦で討死したという。
『徳島県の中世城館』によれば『阿波志』に五条城と高志下野守屋敷が区別して記されていることから、それぞれ別の城郭遺跡があり、『板野郡誌』や『吉野町史』などが示す五条城は高志下野守屋敷を指すのであろう、としている。
『徳島県の中世城館』が示す高志下野守屋敷の位置は五条神社の南方で、現在は宅地や田畑となっており遺構はない。『日本城郭大系』には「五条神社の近く、城屋敷という地名が残るのみで、城の関するものは何も残っていない。」とあるので、同じ場所を指していると思われる。