D'après les monuments historiques, un premier Immeuble aurait été construit vers 1685.
En 1787, le marquis de Rochegude (1741-1834), contemporain de Lapeyrouse et navigateur, rachète l'hôtel et entreprend, sous la Restauration, la construction des avant-corps en terrasses. Sur le plan cadastral de 1809, le plan en U autour d'une cour centrale donnant sur la rue ne semble pas encore en place. Les façades sont rehaussées par les couleurs de la brique et de la pierre, utilisées en alternance. Le corps central est surmonté d'un fronton orné du blason des Rochegude. A la même époque, il acquiert une partie du jardin de M. Coste, de Jarlard, qui séparait la propriété de M. Rochegude de la route. Ce terrain est planté en quinconces avec des acacias taillés en parasol et laissé à la disposition du public (Revue historique..., 1887, p. 220). Le portail fermant la cour date également de cette campagne de travaux. A extrémité des ailes, côté rue, s'ajoutèrent une terrasse fictive et une terrasse réelle.
A la suite du décès de son fils adoptif, l'hôtel a été légué par l'amiral Rochegude à la Ville d'Albi par le testament qu'il rédige 1826, de même que la bibliothèque qu'il avait constituée et le jardin d'agrément associé à la demeure. Un capital de 30 000 F est également légué pour financer l'entretien d'un bibliothécaire, maîtrisant le grec, le latin et la botanique. Les biens ruraux (domaine du Mas Grand) sont pour leur part légués à l'hospice de la ville. Le testament prévoyait que la commune ne jouisse du legs qu'à la mort de la nièce de Rochegude, Marie Catherine Célestine, Comtesse de Saint-Juery, désignée comme usufruitière ; que le tout porterait le nom d'Henri de Rochegude et que ses armes seraient gravées sur la porte d'entrée de l'hôtel ; que la bibliothèque qu'il avait constituée ne serait pas déplacée, tout comme les livres et manuscrits qu'elle contenait.
Le testament de M. de Rochegude prévoyait que l'hôtel légué à la ville porte son nom et que ses armes soient gravées à l'entrée. La Ville décide en complément de renommer de son nom la rue passant devant l'hôtel et de construire un nouveau boulevard à l'ouest pour isoler le nouveau parc qui doit être sensiblement étendu. Un monument rendant hommage au marquis est inauguré en 1886.
Le fonds Rochegude
Par codicille du 5 juillet 1832, Henri de Rochegude dispense Célestine de Saint-Juery de dresser un état des immeubles appartenant à la succession et interdit à la commune de faire réaliser un inventaire des ouvrages de la bibliothèque. Il prévoit que le catalogue réalisé par ses soins tiendra lieu d’inventaire et sera remis à la commune par Célestine de Saint-Juery. Par un second codicille du 24 juin 1833, Henri de Rochegude proscrit l’usage de son catalogue comme inventaire, enjoignant à la commune de prendre la bibliothèque dans l’état où elle la trouvera au décès de Célestine de Saint-Juery ( Ginouillac, 2017, p. 45 à 55, et Desachy, 2007, p.137 à 149). Ce fonds Rochegude constitue le fonds ancien de la bibliothèque municipale d'Albi.
La riche bibliothèque léguée par Rochegude, dont la ville prend possession en 1888, montre l’intérêt de son ancien propriétaire pour la thématique du jardin. Le Fonds Rochegude comporte 12 400 livres dont 180 notices sont liées au « végétal », de la botanique au jardinage, de l’agriculture au récit des expéditions scientifiques. Ces ouvrages s’échelonnent du 16e au 18e siècle et comprenait notamment
- Theophrasti Eresii de Historia plantarum livri decem graece et latine, ouvrage publié en 1644 et répertoriant la somme des connaissances botaniques de l’Antiquité,
- Historia Generalis Plantarum, de 1587, dans lequel Jacques Dalechamps décrit près de 3 000 plantes. Il s’agit d’une compilation de connaissances botaniques en deux tomes et 1 922 pages, où l’illustration côtoie le texte en latin,
- des florilèges dans lesquels les plantes sont présentées en entier avec leur racine, la fleur et le fruit, tel Florilegium amplissimum et selectissimum, quo non tantum varia du Néerlandais Emmanuel Sweertius (1620).
Dans le Fonds Rochegude, listes de plantes et classifications ont une place notable, et la présence d’ouvrages et classifications annotés atteste l’intérêt de Rochegude pour les noms et la classification des plantes, dans la lignée des savant des Lumières. Rochegude se réfère à la méthode de classification de Joseph Pitton de Tournefort, enseignant la botanique au jardin du Roi, fondée sur l’identification des caractères des parties dédiées à la fructification. Deux ouvrages de Carl von Linne, naturaliste ayant révolutionné la classification du règne végétal, sont également présents dans le Fonds Rochegude (Philosophia Botanica et Equitis systema vegetabilium secundum classes ordines, respectivement dans des éditions de 1790 et 1797).
Des livres de jardinage ont également la part belle dans la bibliothèque, tels le Traité théorique de la végétation de Nicolas-Alexandre MUSTEL (1781) et le Dictionnaire du bon jardinier en quatre volumes de Jean-Jacques FILLASSIER, pépiniériste (1830). Les traités et monographies occupent une place importante, en particulier pour les arbres fruitiers et les légumes, tels le Nouveau traité de la taille des arbres fruitiers de René DAHURON (XVIIème siècle). Surtout, la bibliothèque recèle le livre le plus célèbre et emblématique, aujourd’hui encore, consacré aux agrumes, Hesperides site de malorum aureorum culture et usu libre quatuor Jo de 1646 (Damon-Chosy, 2013, p. 461 à 473).
L'intérieur a été fortement remanié. Seul subsiste l'escalier de marbre à balustres de pierre datant de la fin du 17e siècle. Au premier étage de l'aile sud, des boiseries proviennent de l'archevêché (1908).
