En rédigeant son testament, le 1er juillet 1853, Placide Massey évoque le ""jardin d'hiver"" qu'il fait construire dans son jardin d'ornement. Il s'agit d'une serre adossée à sa villa dont l'exécution a été attribuée à l'entrepreneur Etienne Touya le 1er avril 1852. Louis Caddau, en 1924, a retrouvé les croquis relatifs au jardin d'hiver dans le fonds de l'architecte Latour : ""façade méridionale modifiée du bâtiment en cours d'exécution, 3 août 1852"".
Ce jardin d'hiver en demi-rotonde, immense, devait être accolé au sud de la villa. Des modèles similaires sont conçus à cette période en Europe (cf. une des serres chaudes de l'université de Louvain). La connaissance des serres a d'ailleurs constitué un des objectifs du voyage de Massey de 1841 en Belgique et en Angleterre, lui-même ayant mis au point la technique du thermosiphon pour le chauffage des serres à ananas.
La commande du jardin d'hiver semi-circulaire est passée par Massey à l'entreprise de Pierre-François Herbeaumont, constructeur à Charonne, connu pour avoir déposé en 1847 un brevet de construction de serre chaude en fer. Les fondations sont commencées mais le prix élevé fait hésiter Massey. Dans le même temps, l'instabilité de la tour demande qu'elle soit épaulée, côté sud. L'ouvrage est donc abandonné.
En remplacement du jardin d'hiver, le Conseil Municipal décide en 1880, de procéder à la construction d'une serre monumentale appelée aussi ""orangerie"", à l'ouest du jardin, à proximité des petites serres de multiplication. Un concours est organisé et quatre projets sont présentés en 1882, provenant de : la société Saint-Sauveur d'Arras, l'usine Carré de Paris, la Maison Herbeaumont-Bornin de Paris-Charonne, et l'usine Saint-Eloy d'Orléans (certains projets, non réalisés, sont conservés par les archives départementales des Hautes-Pyrénées). Le cahier des charges prescrivait une serre à orangers au centre (d'où le nom ""orangerie"" qui lui fut attribué ensuite) avec, de chaque côté, une serre chaude et une serre tempérée. Le choix se porte sur le projet de l'usine Saint-Eloy d'Orléans, pour un devis de 28.000 francs. La soumission des travaux est datée du 12 octobre 1882, accompagnée par un dossier complet du projet signé par l'architecte de la Ville. L'adjudication, lancée en 1883, concerne aussi, pour asseoir l'édifice sur un soubassement, des travaux de maçonnerie et de terrassement confiés à l'entrepreneur Ballas pour un montant de 8.600 francs. Ce soubassement est destiné à surélever la serre pour qu'elle puisse être mieux admirée du public.
Les travaux de la serre, ouvrage de fer et de verre, sont terminés en décembre 1884 mais la réception définitive n'a lieu qu'en mars 1886, après corrections de malfaçons ou de finitions. La serre était chauffée grâce à une chaudière à eau chaude ou thermosiphon (option déjà adoptée par Placide Massey pour son jardin d'hiver), encastrée dans le mur postérieur au niveau du sol. La serre chaude était destinée à la culture et la multiplication des orangers et des plants de végétaux exotiques les plus fragiles.
Dégradée au cours du 20e siècle, elle fait l'objet d'une campagne de restauration en 1983 : reprise de l'ossature en métal, des travaux de second oeuvre (électricité, chauffage par pompe à chaleur...), réaménagement intérieur suite à une mutation de destination (autrefois serre de production, l'édifice devient local d'exposition), restauration de l'ancienne mosaïque romaine. L'esthétique d'origine du bâtiment est parfaitement préservée. La restauration de la serre s'accompagne de construction de locaux techniques sur l'arrière (au nord) de l'édifice.
