築城年代は定かではない。はじめ斉藤氏が籠もったとも云われるが、室町時代中期には大谷兼秋の三男大谷章実が居城した。
文安3年(1446年)吉賀高尻郷の河野粂丸と吉賀広石郷の上領玄蕃が結んで小松尾城に攻め寄せたが、大谷主膳は益田氏に援軍を求めてこれを撃退した。宝徳3年(1451年)には逆に大谷氏が吉賀に攻め込んでいる。
弘治元年(1555年)七尾城主益田尹兼は吉見氏に備えるため、小松尾城に弟の益田兼任を置き、その子益田兼治と続いたが、関ヶ原合戦後に防長二カ国に減封となった毛利氏に従い、須佐へ移った。
小松尾城は紙祖川と小原川が合流する地点の南側の山に築かれている。 城山の麓を両川が流れ、天然の堀になっている。
小松尾城は標高442.7mの三角点のある所が一段小高くなっており主郭となる。この曲輪はひょうたん型で中央がくびれ、ここに北の曲輪からの通路が付いている。主郭の南端は土塁状にやや高く、背後は三条の堀切によって遮断されている。それより南は自然地形で、一条堀切らしき凹みがある。主郭の北側は南北140m程の細い曲輪で、先端部分がやや高台となっている他は段差はない。その北下に小段と堀切を一条設けている。
県道42号線が東麓、県道189号線が西麓を通っているが、東側の県道42号線沿いに案内板が設置されている。城山に登る道はなく、川には橋が架かっていない。
川を渡るにはまず西側の県道189号線側に回り、ちょうど川が合流する辺りに東へ向かって水田の中を伸びる道がある。そこから川に近づくとコンクリートが渡してあり、数十cmの隙間を飛び越えれば対岸に行くことができる。城山へはここからすぐの北尾根の先端部から取り付くことができる。やや急峻だが、薮化している部分もなく、比較的簡単に山上まで登ることができる。