建武2年(1335年)朝山次郎左衛門景連によって築かれたと云われるが定かではない。 備後国守護朝山景連によって築かれ、以後守護所として代々続いたとされるが確証はない。
その後、備後国守護となった山名氏の居城となった。山名氏は周防国大内氏と親しかったが天文7年(1538年)出雲国尼子方となったことから、大内氏は銀山城主杉原理興に命じて神辺城を攻略させた。これによって神辺城は杉原氏に与えられ、山名理興と名乗った。
天文11年(1542年)大内氏は尼子氏の居城出雲富田城を攻めたが国人衆の離反もあって敗走し、このとき理興も大内方から尼子方についた。翌天文12年(1543年)大内氏は神辺城に押し寄せたが容易に落城せず持久戦となり、天文18(1549年)ようやく神辺城を攻略した。神辺城には大内義隆の家臣青景隆著を置いた。
大内氏が滅亡した後は杉原盛重が城主となり毛利氏に属した。盛重は毛利氏に従って各地を転戦し、伯耆国尾高城主も兼ねるなど勢力を拡大した。しかし、天正10年(1582年)神辺城を任されていた盛重の子元盛と景盛の間で争いが起こり、神辺城は毛利氏の直轄となり、天正19年(1591年)には毛利元就の子毛利元康が城主となった。
慶長5年(1600年)関ヶ原合戦の後、毛利氏が防長二カ国に減封となると安芸国広島城主として入封した福島正則の家老福島丹波守正澄が神辺城主となった。しかし福島氏は元和5年(1619年)改易となり、替わって備後国十万石として入封した水野勝成が福山城を築くまで一時在城し、元和8年(1622年)廃城となった。
神辺城は神辺平野を見下ろす標高133mの黄葉山に築かれている。 現在山頂は吉野山公園として整備され、東側には福山市神辺歴史民俗資料館が建てられている。
山頂の主郭を中心に西と北へ伸びた尾根に曲輪を連ねる。最終段階は総石垣の山城であったとも考えられているが、現在は主郭の南側面に石垣がまとまって露出している程度で、他は石垣の石が転がっている感じである。
南東背後の尾根を遮断する堀切1は大規模に岩盤を遮断した堀切で、竪堀も長く伸びている。西の尾根先側には放射線状に畝状竪堀群が残っている。
北麓近くには曲輪群IXとXがあり、曲輪Xの下方に畝状竪堀群5があり、その下にも堀切6が確認できる。
車の場合、神辺歴史民俗資料館(入館無料)を目指せば山上に駐車場がある。
登山道は天別豊姫神社や西麓からもある。
最寄り駅(直線距離)