Une tradition locale sans fondement situe ici le lieu de naissance du troubadour Bertrand de Pézars, actif à Avignon entre 1348 et 1384. L'histoire de l'hôtel n'est pas vraiment connue avant la seconde moitié du 17e siècle, époque à laquelle l'immeuble appartient à Jean-Louis de Graves. Toutefois, la découverte récente d'armoiries peintes sur le plafond de la salle, identifiées par Mr Jacques Peyron, permettent d'attribuer l'immeuble à Jean de Calabre, fils aîné du roi René et d'Isabelle, duc de Lorraine en 1466 et comte de Pézenas de 1466 à 1471. Il faut donc situer la construction primitive au cours du troisième quart du 15e siècle. Les remaniements subis par l'édifice depuis le 17e siècle ne permettent plus de reconnaître le parti initial, à l'exception de la salle du premier étage ornée d'un plafond peint dont les vingt-cinq panneaux d'entrevous sont décorés d'armoiries et de figures.