天正4年(1576年)大関高増によって築かれた。
大関氏は武蔵七党の一つ丹党(丹治氏)を出自として武蔵国児玉郡大関村に住んで大関氏を称したという説と、常陸国の小栗七郎と那須家臣角田氏の娘との間に生まれた子で、常陸国小栗庄大関郷に住んで大関氏を称したという説がある。いずれもその祖は大関高清である。
大関氏の動向が記されているのは高清を初代として六代目にあたる大関家清で、正平6年(1351年)足利尊氏と弟直義が戦った薩埵山(さったやま)の戦いで、那須氏に属して足利尊氏方として戦い、戦功として松野郷と大桶郷を与えられた。
応永年間(1394年〜1428年)七代大関増清は白旗城を築いて大関城より居城を移している。その後も十一代大関増雄の時に八幡館に移り、十二代大関宗増の時に大関城、十三代増次の時には再び白旗城に移った。
大関宗増と福原資安は、主家那須氏の信頼の厚い大田原資清を陥れ永正15年(1518年)大田原氏を攻めてこれを敗った。資清は越前国の永平寺に落ち仏門に入ったが、天文11年(1542年)越前朝倉氏の支援を受けて大関増次(宗増の嫡子)の籠もる白旗城を奇襲し、増次は石井沢にて自刃して果てた。増次には嫡子なく大関城に隠棲していた父宗増は大田原氏と和睦し、大田原資清の長男高増を養子に迎えて大関氏の家督を継がせた。これにより、大関氏は事実上大田原氏に乗っ取られる形となった。
天正18年(1590年)豊臣秀吉による小田原征伐では、主家烏山城主那須資晴に参陣を促すも聞き入れられず、大田原氏・芦野氏など那須衆と談合して小田原に参陣した。このとき、嫡子晴増も同伴している。この功によって大関氏は高増に一万石、晴増に三千石、合わせて一万三千石の所領を賜った。
慶長5年(1600年)関ヶ原合戦で、大関晴増は上杉景勝に対する備えとして黒羽城の改修を行い、徳川家康から援兵として岡部内膳・服部市郎右衛門が付けられた。関ヶ原合戦の功によって二万石の大名となり、正保3年(1646年)大関土佐守高増の没後、高増の二男増榮、三男増公にそれぞれ千石を分知し、以後黒羽藩は一万八千石の大名として明治に至る。
黒羽城は那珂川に沿って南北に延びた丘陵に築かれている。 南北1.5kmにも及ぶ山城であるが、公園となっている本丸周辺を除いて多くの部分が失われている。本丸周辺の遺構が良好なだけに残念である。
本丸を中心として北に二の丸、南に三の丸があった。本丸は四方を高土塁が巡り東に虎口がある。虎口は枡形虎口、横堀、さらに枡形虎口と、二重の枡形虎口となっており、この遺構を見るだけでも黒羽城を見る価値がある。本丸の周囲は高い切岸で南には深い堀が入り東側面に伸びて横堀となっている。西側は帯曲輪である。
二の丸は北城とも呼ばれ黒羽体育館のある所、三の丸は南にあり「芭蕉の館」がある。 本丸と三の丸の間には土塁があり、二重堀になっている。土塁はそのまま東側に回り込み横堀の土塁となっている。
本丸の東側に専用の駐車場がある。三の丸にある「芭蕉の館」に大関氏関連の展示もされている。南にある大雄寺には大関氏累代の墓があり、光厳寺には大関美作守高増の墓がある。