詳細不明。龍野城主赤松広秀の弟(あるいは兄)伊豆守祐高が在城していたが天正年間(1573年~1592年)に羽柴秀吉によって攻略され、以後は羽柴氏に仕えたという。
その後は曽谷祐高と名を改め、大坂の陣では豊臣方として戦ったが敗れて城を脱し、網干の大覚寺に逃れたが、そこで自刃したという。
曽我井城は揖保川東岸の標高180mの山に築かれており、現在は登山道が整備されている。
主郭は山頂にあり、その周囲に帯曲輪、西には腰曲輪が数段連なっているが、堀は確認できない。全体的にシダ藪になっているところが多く細部は把握できていないが、切岸も甘く古い時代の山城といった印象である。
北西麓に東山公園の駐車場がある。駐車場からホテルに向かう途中にある小川の反対側に曽我井城入口の標柱がある。そこから主郭まで山道が続くが、近年はあまり利用されていないようである。
最寄り駅(直線距離)