L'hôtel, dit château de Sambucy, a été élevé à la demande du maître des eaux et forêts en Rouergue, Jacques Duschene. La création du jardin à la française équipé d'un bassin agrémenté d'un jet d'eau (récemment restaurés) fait immédiatement suite à l'achèvement des travaux, en 1674, donnant un caractère remarquable à l'édifice. La famille de Sambucy acquiert l'hôtel assez rapidement, par le mariage de la petite fille de Jacques Duschène avec Marc-Antoine de Sambucy, avocat au parlement de Toulouse. Le 19e siècle voit le château s'agrandir : les ailes latérales sont surélevées et une orangerie édifiée, en 1853, par l'architecte départemental Boissonnade, à qui l'on doit également la construction du Palais de Justice. C'est alors que le jardin est remis au goût du jour et remodelé autour d'une grande pièce d'eau aux contours courbes.