詳細不明。文亀年間(1501年〜1504年)頃の城主は高見源右衛門と伝えられる。
加茂福山城は加茂川中学校の南東に聳える標高366mの山頂に築かれており、現在は福山城公園として整備されている。
加茂福山城は公園として整備されている西の山頂部を主郭として、東尾根へと城域が拡がっており、確認した部分だけで東西250m程の規模はある。東端は公園へと続く林道によって遮断されている。
主郭は公園として整備されている西の山頂にあり、ひょうたん型の曲輪になっている。北側の切岸に一部石積らしき跡と石が散乱している。東にある駐車場に向かって曲輪が連なっているが、北側には石積が残っている。
駐車場の東側の山上は削平されていないようであるが、ここも城内で北側には虎口のような地形が残り、そこから東尾根に回り込んでいる。東尾根には曲輪を挟んで二条の堀切があり、更に東へと削平地が続く。堀切の間の曲輪は北側に土塁がつき、東の削平地も北側に塚状の高まりが残っている。
道は狭く大半が未舗装であるがしっかりした林道があり、公園の駐車場まで普通車で行くことができる。公園へは加茂川中学校の北の県道31号線から惣社宮方面に入って県道366号線で、吉備高原のびのび小学校方面に進む。小学校の北側付近に福山城公園の道標が出ており、そこから道標に沿って林道の終点まで進めばよい。