築城年代は定かではないが平松氏によって築かれたと云われる。
和泉三十三郷士の一人平松源左衛門尉平宗時の館跡とされる。天正13年(1585年)豊臣秀吉による紀州攻めで豊臣秀長が岸和田の地にきたとき、宗時は病床で代わって嫡男宗賢がこれを出迎えた。宗賢は父に代わり従軍を願ったが、父の病状を聞いた秀長はこれを哀れみ、宗賢を帰して父の看病をさせたという。
土居城は現在の山直中町公民館一帯に築かれていた。 城郭大系の図面では、この公民館付近を囲むように堀池があり、土居石垣の写真が掲載されているが、現状では池は埋め立てられており、遺構は残っていないようである。