建治3年(1277年)小野寺道直によって築かれたと云われる。 鎌倉時代初期に雄勝郡に入部した小野寺経道の二男道直が由利方面に対する備えとして西馬音内に配され、その後西馬音内氏を名乗った。
天正14年(1586年)最上氏に属した鮭延地方の奪還を目指した有屋峠の合戦では西馬音内茂道も参陣した。
文禄元年(1592年)西馬音内茂道の女を娶って婚姻関係であった由利十二頭の一人八森城主矢島満安が、同じく由利十二頭の一人山根館の仁賀保氏によって八森城を追われ、西馬音内へと逃れてきたが、このことが宗家との間にあらぬ疑いを招き西馬音内氏は満安を自刃させた。このような内紛の中、山形城主最上義光は雄勝郡へ侵攻し文禄4年(1595年)頃には西馬音内氏・柳田氏・松岡氏・深堀氏などが最上方に属した。
慶長3年(1598年)横手城主小野寺氏が湯沢城奪還を目指すと西馬音内氏は再び小野寺氏に属して立ちあがった。
慶長5年(1600年)関ヶ原合戦では上杉氏に呼応して東軍となり、上杉氏が最上領から撤退した後は孤立し、最上氏が雄勝郡へ侵攻すると西馬音内氏は城を焼き払って庄内へ逃れ、横手城主小野寺氏は改易となって石見国津和野へ流罪となった。
西馬音内城は旧元西小学校の南背後に聳える標高185m程の山に築かれている。以前は本丸に通じる見学路以外はシダ藪によって歩きづらかったのだが、今回訪れたときにはシダがかなり伐採されており、非常に見学し易くなっていた。
西馬音内城は山上を広く削平し、一段小高い切岸を持つ曲輪群とその周囲を巡る曲輪群がある。元西小学校から続く遊歩道は北尾根の堀切を越えて隅櫓台と呼ばれる曲輪と曲輪の間を通り、二の丸の東側面を通りながら主郭に達する。この途中には竪堀を入れて通路を狭くした部分があり、主郭の東側の鞍部には空堀とも通路とも思える遺構に達する。主郭部はこの西側の丘陵であるが、東側にも飯塚館と呼ばれる曲輪群があり、東端は二条の堀切で遮断している。
主郭には現在も水が溜まる井戸があり、南側にはこの地で自刃したという「伝矢島五郎満安自刃の地」の碑がある。主郭から北東に伸びた曲輪が二の丸とされ、その先端が櫓台となる。
東の尾根にある飯塚館と呼ばれる曲輪は東から南に掛けて横堀が巡り、一部土塁が付いている。さらに外側にも一条堀切があり、この曲輪群は東からの攻撃に備えた出丸のようである。
旧元西小学校の所に案内板と大手門跡の石碑が建っている。 登山道は小学校の校舎西側にある坂道で、これを登った所に西馬音内城入口の標柱がある。