築城年代は定かではないが仁治年間(1240年〜1243年)に永安兼祐によって築かれたと云われる。 兼祐は三隅氏初代三隅兼信の二男で、永安の地を譲られ永安氏(長安)を称した。
永安氏三代兼員のとき、姉で吉川経茂の妻であった良海尼との所領争いがあり、正中2年(1325年)幕府の仲介によって所領を二分することで和平が成立し、安芸の吉川氏から石見の吉川氏が興るきっかけとなった。
南北朝時代には益田氏は北朝方、その庶流である三隅氏や周布氏、福屋氏などが南朝方となって戦ったが、この永安氏は北朝方として石見国守護上野頼兼や吉川経明と行動をともにした。
周防の大内義隆が家臣の陶晴賢に討たれると、永安氏は益田氏とともに陶氏に味方した。このことから、毛利元就が厳島合戦で陶晴賢を敗った後には毛利氏によって攻められることと成った。弘治元年(1555年)あるいは3年に毛利元就の二男吉川元春を大将とした軍勢によって攻められ落城、城主永安大和守(あるいは永安式部少輔とも)は城を退き、七尾城の益田藤兼を頼って落ちた。しかし、永禄2年(1559年)益田藤兼は吉川元春の仲介によって毛利氏に降り、永安氏は自刃して果て滅亡したという。
矢懸城は浜田市役所弥栄支所の東に聳える標高488.3mの山に築かれている。 城は東の山頂部ではなく、西の尾根に築かれている。
東の山頂に続く尾根は堀切によって遮断しており、底に低い土塁のようなものがあり二重堀切であったのであろうか。この堀切から西側の尾根に曲輪を配しており、主郭の西端部分に神社が祀られている。
主郭から西の尾根に階段状に曲輪が連なり、先端の北側に連続竪堀が残っている。
案内板が市役所支所の東側にある駐車場の所に建っている。登山道はそこから東の山上にあるグラウンドの先からあり、途中の水道施設まではしっかりした山道が付いている。水道施設を越えて尾根に出て右へ登っていけば神社に至る。この辺りの道は笹が茂って分かりづらくなっている。(登山道入口)