築城年代は定かではないが天慶年間(938年〜947年)に藤原藤次によって築かれたと云われる。藤次は俵藤太藤原秀郷の弟で以後土着して山鹿氏を名乗って代々続いた。
平安時代末期の山鹿兵藤次秀遠は源平合戦で平家方として戦い、壇の浦合戦で平家が敗れると山鹿氏も所領を没収され没落した。
鎌倉時代には宇都宮左衛門尉家政が入部し、はじめ山鹿氏、後に麻生氏と名乗った。室町時代から戦国時代にかけて、麻生氏は大内氏に属し、大内氏滅亡後は大友・毛利氏に属して戦国時代末期まで遠賀郡を拠点として勢力を維持した。天正15年(1587年)麻生上総介元重は小早川隆景の支配下に置かれ、筑後に移封となり廃城となった。
山鹿城は遠賀川の河口北岸にある丘陵に築かれており、現在は城山公園として整備されている。
主郭は山頂にあり、北西下にあるのが二の丸という。山腹には腰曲輪や帯曲輪と見られる削平地が残る。二の丸に「山鹿兵藤次秀遠之城址」の碑が建っている。
国道495号線の遠賀川に架かる芦屋橋東詰を川に沿って南下した所に公園の駐車場があり、遊歩道が山頂に続いている。
最寄り駅(直線距離)