築城年代は定かではなく諸説ある。一つは天禄年間(970年〜973年)塩川刑部丞仲義、一つは南北朝時代に塩川伯耆守仲章、一つは天正7年(1579年)に塩川伯耆守国満によって築かれたという説である。
永禄11年(1568年)塩川国満のときに織田信長に従い本領を安堵され、信長が本能寺の変で倒れると羽柴秀吉にしたがって山崎合戦などにも参加した。しかし、天正12年(1584年)頃から隣接する能勢氏との間に争いが起こり、天正14年(1586年)に塩川国満が能勢氏の地黄へ攻め込んだため、秀吉の怒りに触れ塩川氏は滅亡した。
山下城は標高184mの古城山と北に谷を挟んだ向山に築かれており、一般的に古城山を本城、向山を出城とする。
本城は山頂の主郭から南西の谷間を挟んで東西２つの尾根が伸びており、この２つの尾根に段々の曲輪を設けた単純な縄張りで、谷間の山腹に神社が祀られている。この谷間から下った山麓付近にも段遺構があり、大手筋であった。
主郭の東背後には分厚い土塁があり北端が櫓台となっている。虎口は南と西にあり、それぞれの尾根に続いている。東背後の尾根には二重堀切があり、そこから南の谷間に向かって長大な竪堀が三条あり、まさに圧巻である。