Mentionnés par Froidour en 1667, les Bains Cazaux sont connus au moins depuis le 17e siècle où ils portent dans un premier temps le nom de Bains des Pauvres. En 1669, la commune, qui réalise des travaux dans l’'ensemble des bains, y fait construire une voûte. En 1678, leur exploitation est confiée à un apothicaire nommé Moulaux, qui cède les bains à son gendre, Cazaux, perruquier, en 1694.

L'’établissement, qui acquiert sa réputation de par son ancrage historique, est vendu par son petit-fils, Jean Dumoret, à Jean Marie Pinac en 1758. Figurant sur l’'ensemble des cartographies jusqu'à sa démolition au 20e siècle, il dispose d’'une douche, de cinq baignoires et d’'une fontaine alimentées par quatre sources, dont deux à 46 degrés. L’'édifice, de proportions encore modestes, est acheté en 1830 par Jean Paul Setze, un notable originaire de Tarbes, qui y effectue une importante campagne de travaux en 1833, où il ajoute de galeries en bois dans le goût pittoresque de l’'époque. Cette initiative provoque d'ailleurs des conflits avec le propriétaire des Bains Théas contigus. Au 19e siècle, l'’édifice bénéficie d'’une excellente réputation, tant par la qualité de ses eaux que par celle de ses prestations.

En 1887, la famille Setze exige 50.000 Francs de dommages et intérêts à la commune qui aurait capté l’'une de ses sources chaudes pour alimenter les Grands Thermes. En 1895, la cour d’'appel de Pau condamne la ville à rétablir les lieux dans leur état primitif. Malgré ce long conflit, Mme Setze vend l'établissement à la Ville en 1902 pour la somme de 50.000 Francs, un an avant que la municipalité ne rachète la villa Théas. Les Bains Cazaux sont exploités par un fermier jusqu’en 1927, puis ils sont démolis tout comme la Villa Théas en vue de la construction du musée Salies.