Un premier édifice dit "villa Bertin" est représenté sur les plans de la ville de 1850 et 1860 (Lambron, op. citée p. 330) et est mis en location pendant la saison des eaux. Elle appartient alors Stéphane Bertin et fait partie des rares édifices construits sur cette partie de la ville. La propriété passe ensuite entre les mains d'Etienne Larcher qui semble la faire reconstruire puisque les registres du cadastre indiquent la "construction" d'un "chalet" achevé en 1868 aux dimensions importantes puisqu'il est imposé sur un revenu de 500 F (ramené à 350 F en 1869). C'est ce second édifice qui a été construit par Edmond Chambert. Dans un projet non daté dessiné de l'architecte, la façade comptait neuf travées qui furent finalement ramenées à cinq. Les plans des étages montrent qu'on projetait de distribuer les pièces autour d'un vestibule central desservi par l'escalier intérieur qui prolongeait l'escalier extérieur. Les pièces de réception (salons et salle à manger) étaient implantées au sud et communiquaient avec une terrasse d'où l'on pouvait jouir de la vue sur la montagne. Boudoir et fumoir étaient répartis de part et d'autre du vestibule et quatre chambres étaient disposées de part et d'autre de l'escalier. Les pièces de service (bûcher, souillarde, cuisine, caves et pièce pour les domestiques) étaient implantées au soubassement, desservi par une entrée latérale.

Les travaux devaient être achevés dès 1867 car la villa a hébergé l'Aiglon et sa suite lors de sa venue à Luchon en juillet 1867. Louée à M. Larcher pour 8 000 francs, elle est alors décrite par le Dr Barthèz "elle est située à quelques minutes hors Luchon, au milieu de la plus grande largeur de la vallée et consiste en une jolie maison entourée d'un grand jardin bien boisé qui nous permet d'être chez nous". Le séjour du Prince Impérial a donné lieu à un article dans le Monde illustré du 20 juillet 1867 où la villa est représentée sur une gravure réalisée d'après une photographie de Soulé.

La villa devient une propriété de la ville de Toulouse en 1877 (AM Toulouse 12 FI 329) qui l'a transforme en hospice. En décembre 1876 l'architecte des hospices civils de Toulouse Louis Delors dresse un projet de pavillon d'entrée qui ne semble pas avoir été réalisé. Cette acquisition faisait suite au legs en 1864 de 400 000 francs-or par Antoine-Alamir Ramel (1805-1864), maître des postes et conseiller municipal de Toulouse, qui souhaitait que cette demeure devienne "une maison de santé destinée à la classe des artisans honnêtes". L'implantation de l'institution, un temps envisagée à Saint-Mamet, s'oriente sur la villa malgré l'opposition des Luchonnais qui voient d'un mauvais oeil l'arrivée de ces visiteurs dans le quartier cossu des villas (Hagimont, 2017, p. 428). Le projet de Saint-Mamet avait suscité des critiques lors de l'enquête publique (238 déclarations orales et une déclaration écrite signée par 277 opposants). On craignait alors la concurrence de cet établissement qui projetait de faire venir de l'eau thermale pour son service propre, tout en exprimant par ailleurs "la crainte de voir se répandre aux abords de l'établissement les malades de l'hôpital et de nuire ainsi à l'agrément de la promenade". Les déclarations de l'enquête critiquaient également le projet de construction d'un pont sur la Pique par crainte des inondations (AM Toulouse, Délibération du conseil municipal de Toulouse,séance extraordinaire du 15 juillet 1872, 1D69).

L'hospice était desservi par les soeurs de Saint-Vincent de Paul. Ouvert seulement pendant l'été, il recevait les malades adressés par les hôpitaux de Toulouse. En 1886, la maison est affectée au service des enfants assistés de la ville de Toulouse. La municipalité entretenait deux juments, nourries l'hiver à Lafaurette, qui assuraient en saison le transport des malades de l' hospice à l'établissement thermal (Bulletin Municipal 30 décembre 1892 p. 1 557), La Ville y fait poser une grille de clôture en 1899 qui remplace les haies qui existaient jusqu'alors (Bulletin municipal, n°7, p. 70) destinés à masquer ces résidents considérés comme malvenus dans la station. En 1905, l'hospice a une capacité d'accueil de 50 lits et emploie 8 personnes.

Une photographie ancienne montre que le toit était initialement à longs pans et croupe brisés et était orné d'une crête de faitage. Il y avait alors un second niveau de comble percé d'oculus. Devant la façade se trouvait un buste sculpté (disparu) représentant Antoine Ramel, qui serait l'oeuvre de Dominique Philippe Jean Fourcade. L'escalier extérieur était plus long car le niveau jardin était nettement plus bas.

En 1938, l'hospice Ramel a hébergé des réfugiés espagnols. Une annonce publiée dans la Dépêche le 4 juillet 1941 indique que l'édifice compte six chambres, simple et doubles, pour un total de 10 lit. En 1949, l'hôpital Ramel comprend trois villas pouvant accueillir les malades. Une partie de ces installations accueille les hospitalisations, ouvertes aux assurés sociaux et aux malades de l'assistance médicale gratuite (AMG) qui est réservée aux malades envoyés par le Bureau de Bienfaisance. Une autre partie, un peu plus chère, accueille toute personne qui le demande, venant soit de l'hôpital, soit de la Sécurité Sociale. Plus de 700 malades viennent alors répartis sur 7 périodes de trois semaines de cure (Bulletin Municipal, 1er mars 1949, p. 279).

Son autorité de tutelle change dans les années 1950 : les hospices civils de Toulouse laissent la place au Centre hospitalier régional de Toulouse. L'architecte Robert Trilhe serait intervenu sur l'édifice en 1952 (Toulouse 1920-1940, 1991, p. 260).

Des photographies aériennes datées de 1921 et 1947 montrent l'état de la propriété dans l'entre-deux guerre : le dessin du parc est bien lisible et la villa était alors dotée de deux petits bâtiments annexes, l'un à l'est au niveau de l'entrée, l'autre à l'ouest. D'autres photographies aériennes permettent de suivre l'évolution : en 1958, un nouveau bâtiment, assez important a été construit entre la villa et le pavillon d'entrée. Cet état du parc dure au moins jusqu'en 2006. En 2008 (google streetview), tous les bâtiments annexes ont disparu et le jardin est amputé au niveau du sud-est.

Le centre ferme de façon temporaire en 1972 pour être modernisé mais la villa est déjà trop vétuste et l'institution prend possession en 1977 de l'ancien hôtel du casino. Ce déménagement permet d'accueillir plus de malades et dans de meilleures conditions puisque les espaces de la villa étaient aménagés en salles communes et non en chambres. Racheté par un promoteur immobilier placé en liquidation judicaire en 2009, la villa et son parc sont depuis à l'abandon, friche thermale du quartier des villas. En 2015 l'édifice apparaît très délabré au milieu d'un parc envahi par la végétation. Il ne reste de la villa que les murs extérieurs et la toiture ; l'intérieur a été démoli à des fins de réhabilitation mais depuis 2007, tout est resté en l'état et a été squatté. En 2020, la mairie de Luchon a racheté la villa mais sans projet abouti derrière.