文永2年(1265年)関左近将監実忠によって築かれたと云われる。
関実忠が関久賀からこの地へ移り築いたのが若山城(亀山城)で、以降関氏累代の城となった。 関盛信の時代になると織田信長の支配となり、その子神戸信孝に属していたが、元亀4年(1573年)信長の勘気を被って蒲生賢秀に身柄を預けられた。天正10年(1582年)罪を赦されて亀山城主に復帰する。
天正11年(1583年)賎ヶ岳合戦で柴田勝家方として滝川一益が挙兵すると、秀吉に従って留守にしていた関盛信・一政父子の亀山城を滝川氏が攻め落とす。しかし、すぐに秀吉によって亀山城は取り戻された。
天正18年(1591年)豊臣秀吉の小田原征伐および奥州仕置き、ついで九戸の乱など蒲生氏郷の与力として活躍し、陸奥国白河に五万石で転封となった。なお、一政は関ヶ原合戦後に再び亀山城主としてこの地に復帰している。
若山城は近世亀山城の北西の小山に築かれていたと云われる。「亀山城絵図」で「古城」と記されているのが亀山古城こと若山城で、関氏が代々居城とした亀山城と推測されている。しかし、この若山城付近では明確な遺構は発見されておらず、むしろ亀山城の発掘調査で戦国時代のものと推測される大規模な空堀遺構が発見されている。
若山城(古城)の案内板は亀山歴史博物館と本宗寺の間の道沿いに設置されている。