詳細不明。芸藩通志によれば城主は藤田宮内である。 近くの本郷城を居城とした南方氏の支城という。

土肥城は北へ張り出した尾根の先端に築かれている。

ほぼ単郭の城で、南端を最高所とする三段の曲輪があり、西から南に土塁が付く。大手と見られる通路が北端の段から東側に伸びており、途中に腰曲輪が三段付く。下部は山が改変されていて不明瞭であるが、登城路の南側に二条ほど連続竪堀らしき地形がある。

西から南にかけて巨大な空堀を設けて山から切り離しており、この城の最大の特徴である。

付近の城(直線距離)
0.3km 安芸 乳母ヶ峠城
0.5km 安芸 本郷城
0.6km 安芸 小木次城
1.1km 安芸 葛平中山城
1.9km 安芸 谷口城
2.2km 安芸 中原城
2.2km 安芸 三郎丸城
3.1km 安芸 岩崎山城
3.1km 安芸 仮谷城
3.5km 安芸 丸山城
3.8km 安芸 二宮氏館
3.9km 安芸 有田城(千代田町)
4.0km 安芸 壬生城
4.1km 安芸 湯船城
4.2km 安芸 小城
4.6km 安芸 大迫城
4.7km 安芸 高峰城
4.8km 安芸 須倉城
4.8km 安芸 狐が城
4.9km 安芸 門出城
5.0km 安芸 岡山城
5.0km 安芸 御子ヶ丸城
5.2km 安芸 丸山城(八千代町)
5.3km 安芸 五郎丸城

2013年4月