Dessiné pour le premier archevêque d'Albi (Hyacinthe Serroni) qui fit transformer le palais épiscopal pour y installer terrasse, contre-terrasse et jardin à la française entre 1678 et 1687. Il est le résultat de la transformation d'un lieu qui, à l'origine, avait une vocation militaire : chemin de ronde transformé en promenoir après arasement des remparts sous l'épiscopat de Charles Le Goux de la Berchère. A la fin du XVIIIe siècle, Monseigneur de Stainville est à l'origine de l'adjonction de statues sur les quatre belvédères en feston aménagés à l'emplacement des contreforts demi-circulaires de la muraille. Dessin des broderies de buis rétabli par l'architecte de la ville au début du 20e siècle (1922), affirmant, à la suite des frères Duchesne, le retour au jardin régulier alors dit "à la française".

A noter : dans le palais épiscopal, des lambris d'appui peints de scènes architecturées du 17e siècle avec des représentations de jardins.

En 2009, une allée pavée conduisant à la terrasse puis au jardin a été aménagée afin de permettre aux personnes à mobilité réduite d'accéder plus facilement au jardin. En parallèle, des bacs d'orangerie avec des plants de buis taillés en topiaire ont été installés sur le terrasse de Bernis et sur le la terrasse qui surplombe le jardin.