Le parc a été aménagé dès l'achat du site par Jacques de Foucaud d'Alzon en 1636, en association avec Pierre Vaissière, maître fontainier à Lisle-sur-Tarn qui a conçu la distribution des eaux. Il s'agissait primitivement d'un jardin à l'italienne dans l'aménagement des terrasses descendant vers le Tarn, associé à un parc à la française. Une vue cavalière datée de 1661 montre une réalisation limitée aux terrasses étagées vers le Tarn. Les deux axes qui sont aujourd'hui encore des éléments essentiels de la composition sont déjà bien marqués

Le goût des jardins à l'anglaise a conduit au 18e siècle la famille d'Huteau à agrandir le parc (1788) mais aussi à détruire parterres et bassins. Cet état est connu par deux toiles de J. L. Petit peintes en 1826 ou 1828. Ils ont été restaurés après 1870 par le marquis de Puységur qui fait également planter de beaux arbres, dans le goût de l'époque. C'est donc Bernard de Puységur qui redonna un caractère ordonné au jardin et aménagea l'ensemble pour lui conférer l'aspect qu'on lui connait aujourd'hui. Il refit le parterre de l'ouest dans l'axe du château, en le plantant de bordures de buis et d'arbustes taillés, y réinstalla le bassin circulaire avec jet d'eau central. Il revalorisa l'ace nord-sud qui existait déjà au XVIIe siècle et qui n'avait pas complètement disparu ; il le prolongea vers le nord en créant un nouveau parterre avec bassin tréflé au-delà du pavillon de lecture. Il conserva la promenade ombragée qui avait remplacé les anciens parterres du sud en la transformant en un mail débouchant sur une pièce d'eau. A l'est, il créa une pelouse entre le château et les communs.

Arnaud de Puységur vendit l'ensemble de la propriété à la ville de Gaillac, après des transactions tendues de 1895 à 1903. Le prix de vente initial de 80.000 francs grimpa jusqu'à 120.000 francs, manquant de faire échouer le projet. C'est la volonté de la population, désireuse de conserver le jardin au statut particulier : semi privé, semi public car les Gaillacois avaient le droit de venir s'y promener. qui permit de faire passer le domaine dans les biens municipaux. Le jardin devint public et le château, après diverses affectations, dut transformé en musée municipal en 1934.

Le jardin fut restauré au début des années 2000.