築城年代は定かではないが室町時代に赤松氏が砦を築き、その後三木城主別所長治の叔父の別所吉親が城主となったと云われる。

天正13年(1585年)高山右近(重友)が摂津国高槻より明石へ転封となり、船上城を改修して居城とした。しかし、豊臣秀吉によるキリスト教弾圧により、高山右近は改宗を迫られるもそれを固持して追放された。

関ヶ原合戦の後は姫路に入封した池田輝政の家老池田由之が城主となり、姫路城の支城となっていた。

元和3年(1617年)信濃国松本から十万石で入封した小笠原忠政が船上城に入ったが、すぐに明石城を築いて移り廃城となった。

現在は市街地と田畑に埋没しており、わずかに本丸跡とされる台地が残り古城御大神が奉られている。