詳細不明。廻神氏の館跡と推測されている。
天文22年(1553年)旗返山城主の江田氏が滅亡、弘治3年(1557年)には廻神村300貫は比叡尾山城主三吉致高の所領となっていたが、その後毛利領となり、松田氏に与えられ、廻神氏を称した。
廻神氏は備前松田氏に繋がるとされる。廻神藤十郎元正は毛利隆元に仕えていたが、永禄5年(1562年)石見国河上で討死、18歳で嫡子がいなかったことから、佐波興連の子元行を養子に迎えて家督を継がせた。
現在の艮神社の辺りが小字土居で、このあたりに廻神城(廻神氏館)があったと推測されている。
艮神社脇に案内板が設置されている。