Situé au pied de l'ancien rempart, à l'emplacement de la barbacane, le jardin jouit d'un site remarquable tant par son orientation géographique (point de vue privilégié), que par la richesse des vestiges architecturaux (restes de remparts, escaliers en pierre, appareillage d'une grande beauté).