慶長15年(1610年)関一政によって築かれた。 関ヶ原合戦後に伯耆国米子に入封した中村一忠が嗣子なく没して改易となると、伊勢国亀山から関一政が五万石に加増され黒坂に入封した。 一政は鏡山城が完成する慶長19年(1614年)まで、亀井山城を居城としていたという。

元和4年(1618年)関一政は家中内紛によって除封となり、以後は鳥取藩領となった。 鳥取藩領となった後は池田氏の重臣福田氏の所領となり、黒坂陣屋が構えられ明治まで続いた。

黒坂城は黒坂駅の西側にある、ほぼ独立した丘陵に築かれている。

東麓には広い削平地があり、北側に枡形虎口を設け、東斜面に石垣を組んだ遺構が残る。この部分は近世初頭に関氏が築いたものであるが、背後の山上には中世城館の遺構が残っている。

山上の遺構は土塁で囲んだ狭い曲輪が尾根にそって南北に伸びている。曲輪は狭く、この部分は関氏による築城ではなく、それ以前の築城とみられる。

黒坂駅の西側の山が城址。城址へ行くには北側にある日野高校黒坂校舎側からグラウンド脇を通るか、南の光明寺から北へ行く。