築城年代は定かではないが遠藤清左衛門によって築かれたと云われる。 境城の支城で、天文8年(1539年)の畑佐の乱、永禄12年(1569年)の三木氏による侵攻、天正2年(1574年)斎藤新五郎の侵攻で使われたという。
太鼓部屋砦は境城のある標高681.3mの山から北西に派生した尾根の先端頂部に築かれている。
単郭の小城で、尾根続きの東側に切岸と土塁を設けているが、切岸自体低い。土塁の一部には石積らしきものが確認できる。東尾根以外は急峻な地形で堀切は一条もない。
北西側の道路沿いに柵の開口部があり北尾根を使って登ったがかなり急峻。