El comandante de la fortaleza (o gobernador) y los principales oficiales disponían habitualmente de cómodas residencias adecuadas a su estatus.

La que hoy día se conoce como casa del gobernador es un edificio que parece aprovechar la fusión de algunas casas de la villa medieval y que fue empleada por el comandante de la plaza como alojamiento durante la segunda mitad del s. xvii. Posteriormente el edificio se abandonó y el jefe de la plaza trasladó su residencia a otro edificio, situado junto al portal de Mar y del que actualmente no se conserva nada.

Se trata de un edificio cuadrangular con la puerta principal al este. Algunos de los muros exteriores, sobre todo el del oeste, presentan un perfil ligeramente inclinado (escarpa) como protección frente a los proyectiles. A poniente y norte se acabaron añadiendo otras construcciones utilizadas respectivamente como caballeriza y almacén para guardar paja. Interiormente disponía de un patio central que le daba luz y donde se ubicaba la escalera para acceder al primer piso. Contra el lado sur del edificio se apoya una curiosa plataforma cuadrangular que funcionaba como terraza.