佐田岬半島の根幹部には現在瞽女（ごぜ）トンネルが抜け、伊予灘側と宇和海側を容易に結んでいます。このトンネルの上を通る旧道は瞽女峠を越える峠道で、古くから細長い半島の両側をつなぐ交通路でした。そして、峠道を南側（宇和海側）に下りた場所、現在ではトンネルの南側出口、その西の山の尾根上に飯森城跡はあります。細い半島の付け根に通る峠道に臨むこの城は、２つの海の沿岸地域をつなぐ要衝に位置するといえます。
尾根の先端の高みに主郭を設け、尾根伝いに曲輪や横堀を配しています。一部に土塁も残っており、曲輪の数も少なくはありませんが、さほど重厚な造りでないように見えます。
飯森城跡
元亀３（１５７２）年７月、豊後大友氏配下の若林・鶴原・佐伯氏らが豊後水道を渡って伊予へ侵攻してきます。その時、この飯森城で伊予勢と交戦したことが、大友氏側の古文書に残っています。迎え撃った伊予勢が具体的に誰であったかは現在のところはっきりしていません。大友勢の出兵目的も明確な断定はなかなか難しいところです。
従来では後世の記録類を基にして、姻戚関係にある土佐一条氏と対立する西園寺氏を背後から討つためとの、いわば局地的紛争としての理解が通説的に流布していました。しかし、同時代の古文書などから見直してみると、実は大友氏と毛利氏という西瀬戸一帯に大きな影響を及ぼす戦国大名同士の抗争の一環と捉えることもできます。同時期に芸予諸島や備前で生じていた能島村上氏や備前浦上氏などの反毛利的行動も含めつつ、大友勢力による毛利勢力への広域的な撹乱の一つとして、西南方面からの効果をねらった行動と理解することもできるのです。
この飯森城の合戦の後、大友勢は深く進軍することなく帰国しますが、そのこともやはり南予自体に対決すべき主体がなかったことを示しているように思います。