築城年代は定かではない。永正7年(1510年)永正の乱で長尾為景方であった夏戸城主志駄源四郎が関東管領上杉顕定方が守る渡部を攻撃して勝利しており、この頃には渡部城が築かれていたと推測されている。
天正7年(1579年)御館の乱では、景勝方の黒滝城将山岸秀能らが、景虎方の三条城将神余親綱を攻める時、神余氏一党が籠もる渡部扇山城を攻めて撃退している。
慶長3年(1598年)上杉景勝が会津へ転封となると、春日山に入部した堀秀治の家臣柴田佐渡守勝全が一万三千石を領して渡部城主となった。慶長5年(1600年)上杉遺民一揆のとき、上杉氏の佐渡代官河村彦左衛門と通謀したとの嫌疑をかけられ、一揆平定後に柴田佐渡守は改易となった。
渡部城は大河津分水路に架かる渡部橋西にある比高70mほどの山に築かれており、現在主郭には菅原神社が祀られている。
山頂の主郭から同心円状に曲輪が取り巻いており、削平地は麓近くまで続いている。主郭から南へ伸びた尾根と南西に伸びた尾根に堀切が確認できる。
県道沿いに駐車場と参道入口があり、案内板が設置されている。
最寄り駅(直線距離)