築城年代は定かではないが源平合戦の頃に藤沢氏によって築かれたと云われる。 藤沢氏は越後から来住した藤沢入道が内場に城を構えたのが始まりという。
藤沢氏は新太夫光高が源平合戦のときに源氏に味方して下し文を賜った。また新太夫道信は元暦2年(1185年)に屋島で討死、その子が新太夫光高という。
その後、嘉吉年間(1441年〜1444年)の頃には川田氏の勢力下となり、戦国時代には音川城主であった川田信濃守景信がこの城に籠もって長宗我部軍と戦ったが落城したという。
内場城は内場池(内場ダム)の西に聳える標高450.4mの城山に築かれている。『日本城郭大系』によれば内場城はこの城山説と南西の標高834.3mの大陰山説があるようである。この点『香川県中世城館跡詳細分布調査報告書』は大陰山の遺構は炭焼場と推定しているようである。
内場城は城山を中心とし、北へ伸びた尾根にも遺構が点在しているが全体的に遺構は不明瞭で古い時代の城と推測される。
主郭は山頂部にあるが、三角点のある所はやや平坦になっているものの狭く、北に向かって少し下った所に段曲輪遺構がある。また南西側にも段遺構があるが、こちらも不明瞭である。
北へ伸びた尾根は両側が急峻な崖となっている。北の尾根分岐から北西側に少し下った所に一段低くなった平地があり、その先に堀切がある。この堀切は城外側である北西の尾根の方が高く不自然な印象を受ける。
北端に星越峠がありそこへの登り口から尾根伝いに主郭まで歩き、南西側に下った。城の南西側にある柿野地区に城主を祀った場所があり、ここに内場城の案内板がある。また東麓の城原地区には城主藤沢藤新太夫の墓がある。