La parcelle sur laquelle a été construite la villa des Palmiers abritait déjà une construction. Celle-ci avait été bâtie par Joseph Cazes au début des années 1850, puis agrandie dans les années 1870 (AD Hautes-Pyrénées, 3 P 1443). Le plan de la station thermale dressé en 1874 indique que sa façade se trouvait au nord et donnait sur le Chemin de la Hount-Caoute, l'actuelle rue de Provence (Ibid., 2 O 739, 1874). Cette maison a vraisemblablement été démolie à la charnière du 19e siècle et du 20e siècle lors de la construction de la Villa des Palmiers.
Édifiée sous l'impulsion de Jean Cazes, « maître d'hôtel garni à Capvern », sa construction est portée sur la matrice cadastrale en 1903 (AD Hautes-Pyrénées, 3 P 1443). Dès l'origine, l'édifice était destiné à loger les curistes. Il abritait ainsi soixante chambres ainsi que des salons pour la détente et le divertissement (Pyrénées et océan , 1908). Ce bâtiment était situé dans la partie sud de la voie qui conduit à l'établissement thermal. Avant la construction du casino et de son parc dans la seconde moitié des années 1920, la façade de la Villa Palmiers donnait sur un espace boisé faisant parti du parc de la station thermale.
Comme l'attestent les photographies aériennes, la Villa des Palmiers et ses dépendances ont été détruites entre 1965 et 1971 pour permettre la construction de la résidence hôtelière Termalia 2 (Ign, 1965 ; 1971).
