築城年代は定かではない。加賀城の支城と伝えられ、加賀城主加賀正利の跡を継いだ官右衛門の砦と伝えられている。
元亀年間(1570年～1573年)に毛利の武将湯原春綱が加賀城を改修して在番しており、これが加賀城ではなくこの加賀要害山城ではないかとする説がある。
加賀要害山城は加賀漁港に面した比高30mほどの小山に築かれている。
『島根県中近世城館分布調査報告書』に掲載されている縄張図によれば、山頂を中心に北と東に段曲輪を配しており、本城とされる加賀城よりも曲輪の規模は大きいようである。
北麓にある駐車場の奥に津波緊急避難場所として登山路が設定されている案内があるのだが、登り始めてすぐに藪で覆われ、とても登れるような状態ではなかった。