築城年代は定かではないが、細川氏が岩部館(小国城)を築いて富沢館より移ったのが始まりとされる。
細川摂津守直元は天童城主天童頼澄に娘を嫁がせるなど天童氏と結んで最上氏に対抗する。 天正12年(1584年)天童城は最上義光によって落城、城主天童頼澄は陸奥へ逃れ天童氏は滅亡する。この勢いに乗じて最上軍は山刀伐峠を越えて小国郷へ侵攻し、細川直元はこれを馬騎原で迎え撃ったが敗れ滅亡した。この戦いで格別の功があった蔵増城主倉津安房守は小国郷八千石を得て、嫡子が小国日向守光基と名乗って小国城を改修し居城とした。
元和8年(1622年)最上氏が改易となると陸奥国仙台伊達氏によって城は接収され破却、廃城となった。小国光基は肥前国佐賀鍋島氏にお預けとなり、小国郷は新庄藩の所領となって、小国城の麓に代官所が設けられた。