城主は横川備後守正広で丹波八上城主の波多野秀治に仕えていたが、天正年間(1573年～1592年)に織田信澄と戦って討死したという。
吉野城は丹波国境に近く、妙華寺の北側、西へ伸びた尾根に築かれており、居館と詰城が残るという。
『【図解】近畿の城郭V』に掲載されている縄張図によれば、詰城は東背後に堀切と土塁を設けて遮断し、西に向かって小さな段曲輪を連ねた簡易な縄張りであるが、麓の館部分は櫓台と大堀切を備えたやや規模の大きい城であったようだ。
見学には土地の所有者で城主の子孫という麓に住んでいる方の許可が必要とのことで、見学許可をお願いしたが、いまは許可していないということで、残念ながら遺構の見学はできなかった。理由は見学者のマナーが悪いからとのことであった。民有地にせよ公有地にせよ他人の土地に入って見学させてもらうわけだから、マナーを守るのは当たり前のことである。