Le site de l'Augusteum connut une assez longue phase d'abandon pendant le Moyen Age, sauf le temple de Diane, affecté dès le Xe siècle comme chapelle d'une congrégation de Bénédictines. Fin XVIe-début XVIIe siècle - heurts avec les Protestants et 1621, Révolte des Rohan - le bâtiment fut sérieusement mutilé sur toute sa partie gauche, les pierres servant à consolider les fortifications de la ville. Les lieux disparurent sous des remblais, remis au jour au milieu du XVIIIe siècle à l'occasion de travaux sur le cours d'eau, l'Agau, essentiel à l'économie, et qui alimentait lavoirs et bassins de teinture. C'est ainsi qu'en 1739, eut lieu la grande redécouverte du complexe système de canalisation antique. Hubert Robert a peint l'intérieur du temple en 1787 (Paris, musée du Louvre).
L'architecte chargé par l'intendant de la province de diriger l'opération fut le parisien Jacques Philippe Mareschal, directeur des fortifications du Languedoc, assisté d'un architecte sorti de la dynastie locale des Dardailhon, Gabriel. De 1745 à 1760, il doit concevoir un jardin - en tenant compte des vestiges antiques - et créer un axe majeur pour les nouveaux quartiers de Nîmes, l'actuel Cours Jean Jaurès (qui ne prospéra qu'au XIXe siècle). Il prévoit de stocker 250 000 m3 d'eau, en construisant de nouveaux lavoirs et bassins pour les teinturiers. L'ingénieur est accusé de goût du faste, ce qui l'empêchera d'achever le projet pour ce qui concerne les parties hautes. Il avait prévu successions de terrasses dans le goût de la Villa d'Este, mais la municipalité rejeta le projet en 1755. Les grilles d'entrée sont oeuvre du ferronnier Leclair.
En 1819, Antoine Cavalier, Maire de Nîmes, fit aménager en les boisant les pentes de la colline située au nord, qui fut rebaptisée en son nom.
