『芸藩通志』には「如意庵山 ニ城山 並に同村(戸河内村)にあり、共に主名を失ふ、或は云、ニ山の内、一は那須到高所居、村内に與一堅、與一墓あり、参考すべし、」とある。
如意庵山城は廃線となった可部線土居駅跡の北側にある山に築かれている。東に栗栖氏の本拠発坂城を望むことができるが、西側は視界が遮られるようだ。もう一段高い所にあれば西側も視界に入るはずだが、その位置に築かれていないのは何か理由があるのだろう。
山頂に南北に長い主郭I、南尾根に腰曲輪II、南東尾根に腰曲輪IIIを配置する。北背後は高い切岸の下方に緩斜面の段が残り、東側に竪堀状の溝などが確認できるが明確な堀にはなっていない。
腰曲輪IIIには小さな石組井戸が残っている。
東麓にある土居大歳神社の奥から山に入ることができるが、道もなく山も急峻である。