築城年代は定かではないが加賀氏によって築かれたと云われる。 加賀氏は楠木正成の末裔を称している。
加賀氏は尼子氏に属していたが、永禄5年(1562年)加賀正利のときに尼子義久の軍勢によって攻められた。正利はこれを撃退したが、毛利の勢力がこのあたりに及ぶと毛利氏に属した。
元亀年間(1570年～1573年)には湯原春綱が在番していたが、このときの加賀城は加賀要害山城ではないかとの説もある。加賀要害山城の遺構は未確認であるが、加賀城はあまりに小規模であり、加賀要害山城が湯原氏が在番した加賀城の可能性は高いと思われる。
加賀城は応海寺の背後に聳える標高148.9mの弥山(寺山)に築かれており、現在は主郭に金毘羅堂があり登山道が整備されている。
金毘羅堂のある山頂部が主郭で、北下に一段帯曲輪があるだけの小規模な山城であるが、加賀港を一望できる立地にある。
応海寺に登山道があり、入口に案内板がある。東回りは途中で道がなくなっており、西回りで登るのが良い。