『芸藩通志』では「小倉山 濁川村にあり、小倉長右衛門、所居、又河野図書隆祚ともいふ、」とあり、小倉長右衛門の居城としている。
小倉山城は標高420mの山に築かれている。
堀切2を挟んで南北二郭あり、南側が主郭となる。
主郭I1は南端に低い土塁を備えており、この土塁が折れをともない虎口1の西側が張り出す形になる。この下方にあるI2の北側に虎口3があるが、この虎口3の内側も主郭の土塁の折れが効いていて、左へ曲がって入る構造になっている。
主郭の北端はI3で北の堀切2に面して幅広の高土塁を設けてある。I3の西側はそのまま主郭I1の西側面を細長い帯曲輪になっているが、I2とは段違いになっており直接行き来できない。
南東尾根は二重堀切3と竪堀群で固めているが現状の堀切は浅い。一方南尾根は西側面を覆う畝状竪堀群5が放射線状になり、その下方に堀切4を設けている。
北の曲輪群IIは南北二段で、尾根先側に畝状竪堀群1を設けている。竪堀は起点が一定ではなく曲輪に近い所もあれば、やや離れたところを起点とするものがある。
北の県道62号線から山の上にある電波塔まで林道が通っているが、入口が封鎖されているので迂回しないと入れない。林道の途中から北西尾根に取り付くことができるので、そこから登ることができる。
最寄り駅(直線距離)