築城年代は定かではないが、文治年間(1185年〜1190年)に小松刑部経俊によって築かれたと云われる。
文治元年壇ノ浦合戦で敗れた平家の一族平経俊がこの地へ逃れ、一時源氏の追討を受けて隠れていたが、その後この地に城を築いて大友氏に仕えたという。 経俊の嫡男はこの地へ留まり、小松太郎経通と名乗った。
小松城は上市の北背後あり、南へ伸びた丘陵に築かれている。
主郭は広く小さく三段程に分かれているようである。主郭の周囲は3〜5m程の切岸が巡り、外側は通路になっている。この通路は南側と西側で尾根を遮断して堀切になっている。南の堀切の外側は土塁になっており、東山腹には竪堀が落ちている。