築城年代は定かではない。 元暦年間に伊予国の河野通信は、母方の伯父沼田次郎を頼って安芸国に渡り、この城に籠って平教経に対抗したが敗れた。

元弘年間、桜山慈俊が攻略し家臣内藤実豊に守られたが、小早川氏によって攻略され、実豊は討死した。

城は本郷中学校の東、心光寺の北側にある南へ張り出した尾根の先端にある。 尾根の北側を堀切と土塁で断ち切った小郭であるが、現在は墓地となっており、堀切は残っていたが土塁は崩されて整地されているようだ。

本郷中学校の東側に「よこみ寺跡、この右高木山城址」の石碑がある。