築城年代は定かではないが室町時代中期に明石氏によって築かれたと云われる。 明石氏は赤松氏の一族という宗安が明石郡を領して明石氏を名乗った事に始まるという。
明石氏は羽柴秀吉が西国へ侵攻するとそれに従い、三木城合戦では端谷城攻めに参陣して戦功をあげた。 天正13年(1585年)明石則実は但馬国豊岡へ転封となり、かわって摂津国高槻より高山右近が入封した。 右近は船上城を築いて移ったため、枝吉城は廃城となった。
城は神本神社の西側にある小高い丘に築かれていた。 現在では公園として整備されて石碑がある。 公園の周囲には竹薮などがあるので何らかの遺構が残っていてもおかしくはないのだが、立ち入り禁止になっているのでわからない。