築城年代は定かではない。元中・応永年間(1384年〜1428年)頃には長井広房の家臣船山因幡守が居たが、後に伊達氏の家臣大町修理亮貞継へと変わった。
享禄年間(1528年〜1532年)頃には桑折播磨守景長が城主であった。天文の乱の後に牧野久仲が城主となった。元亀元年(1570年)久仲と実父中野宗時は伊達輝宗に謀叛の嫌疑を掛けられ小松城に籠もったが、敗れて相馬へと逃れた。その後は再び桑折氏が城主となった。
小松城は犬川に面した平地に築かれており、現在は公園として整備されている。
小松城は南北に三つの曲輪が連なる縄張りであったようであるが、現在は中央の曲輪が公園となり、その周囲に幅広の土塁が部分的に残されている。この曲輪を貫通するように荒山神社の参道があり、神社が祀られている部分は曲輪の外側のようである。