築城年代は定かではないが益田氏によって築かれたと云われる。 日本城郭体系では観応元年・正平5年(1350年)頃に益田兼見によって築かれたとあるが、案内板ではそれより遡って鎌倉時代に益田兼高によって築かれたとされている。

大谷土居屋敷は南から派生した尾根の先端にある高台に築かれている。 現在は畑となっているが井戸が残り、日本城郭体系に石垣が残るとされているので、この畑にある石垣が当時の遺構なのだろうか。

豊川小学校の南側には現在は忠魂碑が建てられているが、ちょうど鬼門にあたるこの地には、臼口大明神が奉られていた。

国道191号線沿いにある豊川小学校を目指し、その交差点を南へ行った所に道標がある。