築城年代は定かではない。平安時代末期に山倭屋真人がこの地に館を築いたのが始まりとされる。
その後、山倭屋氏の子孫が代々続いたが、天正5年(1577年)貞光城主小笠原長定によって攻められ落城した。山倭屋氏は流浪ののちに岩倉城主三好康俊に仕え、その後谷口城主に復帰した。
豊臣秀吉による四国征伐で長宗我部親吉は脇城を開城して土佐へ引き上げようとしたが、南源六らとともに貞光川上流の栂橋で攻め滅ぼしたという。
谷口城は貞光川西岸の段丘の東端に築かれていた。 現在民家のある所が城跡とされるが遺構はない。