近世に庄屋を務めた平川氏の館。平川氏は近江源氏佐々木氏の一族で、近江国野洲郡平川を名字の地とする。
南北朝時代に備中国川上郡穴門郷の領家職となったこの地に下向し、紫城を居城として代々続いたが、関ヶ原合戦の後、毛利氏が防長二カ国に減封となると、帰農して庄屋となったという。
平川氏館は平川郵便局の北西、神社の参道のような道を奥へ入ったところに築かれており、土居庄屋跡の看板が立っている。
南側の石垣中央に階段が設置されているが、石垣自体は比較的新しそうである。『岡山県中世城館跡総合調査報告書 』によれば、奥の竹藪のなかに土塁と空堀が残っているようであるが、道から覗き見た程度ではわからなかった。