Sur le plan de la station daté de 1821, un édifice figure plus ou moins à cet emplacement sous le nom de « bâtiment de l'hôpital ». Il s'agit d'un petit bâtiment rectangulaire, dont la façade la moins large est alignée sur l'avenue. Il comporte deux pièces au rez-de-chaussée et deux à l'étage.
Cet édifice est détruit vers 1826 pour laisser place à un nouveau bâtiment, toujours rectangulaire mais dont la façade la plus longue est alignée sur l'allée. Un édifice destiné aux pauvres avait été bâti vers 1825, mais il est finalement destiné au logement des curistes étrangers. Un nouvel édifice est alors envisagé par l'Hospice de Pamiers pour accueillir les pauvres. Le projet est dressé en 1826 et probablement réalisé rapidement. Il ne subsiste qu'un plan sommaire du premier étage. Les chambres sont alors organisées de part et dautre d'un couloir central, l'escalier se trouvant au fond du couloir, du côté nord. Cet édifice correspond probablement aux cinq travées nord du bâtiment toujours actuellement visible.
L'extension de deux travées supplémentaires vers le sud n'est pas datée précisément mais elle est intervenue entre 1864 et 1907. En effet, sur le plan de 1864 l'hospice est carré alors que sur celui de 1907 il est rectangulaire.
Au cours du premier quart du 20e siècle, l'édifice perd sa fonction d'hospice et est appelé « Villa des Sources ». En 1923, un projet de transformation est élaboré pour la Banque industrielle hôtelière à Paris. Il a sans doute été partiellement réalisé. La villa abrite alors un coiffeur et six chambres au rez-de-chaussée, dix chambres à l'étage et six autres chambres à l'étage de combles.
L'édifice a connu d'importantes transformations vers le milieu du 20e siècle. L'étage de comble a été remplacé par un simple grenier. Un pignon a été construit sur les deux travées de droite. L'intérieur a été remanié afin d'abriter des locaux commerciaux au rez-de-chaussée (office de tourisme, laverie) et de probables logements aux étages.