築城年代は定かではない。 南北朝時代に桃井直常の拠点となった和田城がこの亀山城と見られている。

和田城は桃井氏の拠点であったが幕府側によって攻め落とされ、貞治2年・正平18年(1363年)から翌年にかけて二宮氏が守備している。

神保氏の時代には神保安芸守の居城であったという。

亀山城は増山城の北に隣接する標高133.1mの山頂に築かれている。谷を挟んで東側には孫次山砦があり、ともに増山城の出城とみられる。

亀山城は山頂を中心に北と南に削平地が拡がっているようであるが、山頂までの道しか整備されておらず、体力的に厳しかったこともあり遊歩道近辺のみの散策となった。

増山城をぐるりと回る車道沿いに登山口がある。