詳細不明。北方飯田城主大日向佐渡の家臣勘助の居城と伝え、弘治2年(1556年)武田氏家臣山県昌景によって攻められ落城したという。

茨山城は南へ張り出した尾根の先端頂部に築かれており、現在は城嶺神社の境内となっている。

城嶺神社の境内が主郭部であるが、改変されており旧状は不明である。唯一明確な遺構が南西側の尾根にある一条の堀切である。

境内には土塁らしき土盛りがあるが、神社造成時のものに見える。北背後は一段低く、空堀のような印象も受けるが、中央一段小高くなった方形の段に祠が祀られ、それに向かって土橋状の通路が参道となって付いている。また東側には土橋状のものが南北に付いている。この辺り複雑な地形なのだが城郭遺構なのかどうか判断できない。

南側から神社の参道がある。