La source dite ferrugineuse est découverte en 1802 par le Dr Lameyran et le pharmacien Doux sur les flancs du Mont Olivet. Elle est exploitée à partir de 1818, immédiatement après la fin de la construction de son pavillon, grâce à l'initiative du Dr Delpit, médecin en chef de l'hôpital de Barèges. Cette même année, elle est baptisée Fontaine d'Angoulême à la demande du conseil municipal auprès de la duchesse d'Angoulême qui influence grandement la mode des bains. La fontaine doit alors son franc succès à l'essor des eaux ferrugineuses visant à soigner les pathologies gynécologiques ainsi qu'à sa localisation à l'extrémité d'une promenade pittoresque aménagée pour elle et offrant une vue privilégiée sur la ville et ses environs.£Ainsi la Fontaine ferrugineuse, propriété de la commune mise en affermage, était à ce point fréquentée qu'elle éclipsait de loin les autres sources aux vertus similaires (Fontaine du Dr Lavigne ou Metaou, Fontaine des Demoiselles Brauhauban, buvette du Grand Pré). Entraînant de nouveaux aménagements routiers, elle est étudiée et analysée par divers médecins tout au long du 19e siècle, dont le Dr Vauquelin en 1817 et le Dr Filhol en 1861.

La construction du pavillon néoclassique qui l'abrite, entre 1816 et 1818, est ordonnée par le comte Milon de Mesne, préfet des Hautes-Pyrénées, et projetée par l'ingénieur Bonnetat, qui bâtira les Grand Thermes avec son homologue Cailloux quelques années plus tard. Le bâtiment renvoyait manifestement à l'idéal du temple antique, référence courante des thermes romantiques tandis que les aménagements paysagers, notamment la plantation de 270 arbres, faisaient partie intégrante du chantier dès l'origine. Malgré des travaux de réparations en 1844 et en 1869, l'édifice est reconstruit en 1922 par l'entrepreneur bagnérais Dubau.

De par son cadre pittoresque, propice à la promenade, elle apparaît dans de nombreuses lithographies et cartes postales anciennes, ce qui n'empêche pas sa désaffectation puis sa démolition dans les années 1960.