築城年代は定かではないが香西忠資あるいは資茂の頃に出城として築いたという。
天正年間(1573年〜1592年)頃には香西氏の家臣で円座城主の渡辺市之丞が守将となっていた。
芝山城は南北に長い芝山と呼ばれる標高43.6mの山に築かれていた。かつては東側が海に面していた。
芝山城は南北に長い丘陵で北の丸、本丸、南の丸の三つの曲輪があったと云われている。最高所は芝山神社の境内となっている所であるが、ここが南の丸で、本丸はここから北へ進んだやや低い所となる。この本丸は藪となっているが、西を除く三方を低い土塁が付いており、削平も現状の山の中では一番整っている。北の丸は本丸から北の部分であるが、この辺りは緩斜面地であり、かつては果樹園となっていたようである。
南から芝山神社への参道があり、そのまま北へ降る遊歩道がある。
最寄り駅(直線距離)