Construction du donjon entre 1196 et 1213 pour le roi d'Aragon ou plutôt pour l'évêque de Mende propriétaire du lieu à partir de 1213. Fortement endommagé en 1562 pendant les guerres de Religion, le château fort est réparé et agrandi en 1580. Au 17e siècle, l'évêque transforme le château fort en résidence d'été : construction d'un logis et de dépendances surnommés le Petit Versailles. Tous les bâtiments ont disparu dans l'incendie du 2 juin 1793 à l'exception du donjon médiéval. L'implantation des terrasses et les noms donnés aux parcelles (las touredoundes, le château) permettent de localiser l'emprise première du château fort, du château et des jardins dont le plan pourrait sans doute être restitué par des fouilles archéologiques