築城年代は定かではないが建武年間(1334年〜1338年)に赤松貞範によって築かれたと云われる。
箱根竹ノ下の戦功によって足利尊氏より春日部荘を得た赤松貞範が築いたとされる。
その後、荻野氏の居城となり、荻野和泉守・荻野伊予守と替わった。荻野氏時代の大手口は東方面とされ、荻野伊予守秋清は留堀城を館城としていたといわれる。
天文11年(1542年)後屋城主赤井時家の次男才丸は朝日城の荻野一族に請われて荻野氏を継ぎ、朝日城主となった。これが丹波の赤鬼と称された荻野(赤井)直正で、天文23年(1554年)叔父の黒井城主荻野秋清を留堀城で殺害し黒井城主となった。
荻野直正は兄の後屋城主赤井家清が亡くなると、その子忠家の後見人として赤井家を取り込み、丹波国のみならず但馬国へも侵攻して勢力を広げ、八上城波多野氏とともに西丹波を支配した。
天正4年(1576年)織田信長の部将明智光秀が丹波攻略を命じられ黒井城を包囲したが、この時は八上城波多野秀治が背反して光秀は近江国坂本へ引き上げた。
天正6年(1578年)荻野直正が病没すると、その子正置(直義)は幼少の為、三尾城主赤井幸家が後見人となった。しかし、天正7年(1579年)明智光秀は八上城を落とし、さらに氷上郡の諸城を落として黒井城を孤立させ、8月9日攻め落とした。
黒井城を攻め落とした光秀は斎藤利三を城主とした。利三は南麓(現興禅寺)に館を構え、ここで春日局が誕生したといわれる。明智光秀が山崎合戦で羽柴秀吉に敗れると、黒井城主として堀田吉晴が入部するが、天正13年(1585年)堀田吉晴は近江国佐和山へ転封となり廃城となった。
城は黒井小学校の北に聳える城山に築かれている。
黒井城は尾根続きの山に、西は千丈寺砦、北東は竜ヶ鼻砦、南東には多田砦、的場砦などの砦を築き広大な城域を持つ。主郭部は城山山頂にあるが、ここのみ石垣による普請が行われている。この石垣が築かれた年代については諸説あり、荻野氏によるものか、丹波平定後の明智氏によるものか定かではない。
主郭部は北から南東に向かって本丸、二の丸、三の丸。本丸西に西の曲輪、三の丸東に東曲輪があり、大半は石垣によって固められている。
現在本丸と二の丸の間には空堀があり土橋が架かっているが、もともとは二の丸から南側を迂回して本丸へ入るようになっていたらしい。
南麓の黒井小学校から山道を登って行くと、南へ伸びた尾根に階段状の削平地がある。さらに登って行くと石踏の段があり、赤井氏の招魂碑が建つ。石踏の段の少し手前から東へ回り込んで行くと太鼓の段があり、さらに北へ行くと東丸、北丸、水の手がある。
主郭から西の千丈寺砦へ向かって北尾根を降り、再度登りつめた所が西の丸で、西へ向かって伸びた尾根に南北を土塁で固めた曲輪や土橋の架かる堀切などが残る。この堀切から北へ回り込むと横堀状の遺構がある。西の丸は石垣で固められた主郭部とは異り、土塁・切岸・堀切を中心とした防御遺構が良く残っている。