築城年代は定かではない。
伊達氏の時代には上郡山氏が城主であった。蒲生氏時代には佐久間久右衛門盛次が一万石で城代を務め、上杉氏時代には奈良沢主殿助が城代となって以降、幾人もが城代を務めた。元禄5年(1692年)から小国御役屋と名称が改められ、旧小国小学校の地に代官所が設けられて明治まで続いている。
小国城は横川に面した段丘端に築かれていた。
主郭は旧小国小学校の西側一帯で、現在は宅地や畑などとなっており、土塁がわずかに残る程度である。主郭の西側、飯綱神社から西へ回り込んだあたりに、高土塁が残されており、その外側が空堀の名残である。