Un édifice, qualifié de "castelet" est représenté en cours de construction sur le plan de Luchon par Castex en 1873. S. Liégard (op. cité, p. 77-78) évoque la commanditaire de ce petit château, la séduisante propriétaire de la villa Diana voisine : "près du chalet, sa baguette, mal inspirée cette fois, a fait sortir du sol un castel à tourelles de pierre qui gagnerait à être moins collé au roc : on y travaille encore". Il qualifie par la suite l'édifice de "joujou féodal" pour commenter son style néo-gothique. La commanditaire est Elisabeth Ariosa, fille du maire de Luchon, Mathieu Soulérat, et veuve de Bernardo-Ariosa. Pour accentuer le caractère médiéval du château, elle se fait créer un emblème (un double E majuscule) qu'on retrouve sur toute la décoration du château (extérieurs, cage et voûte de l'escalier, vitraux, cheminée, mobilier du salon rouge).

Le castelet prend par la suite le nom de "château Champsaurel" ("Saurel" est le nom du lieu-dit sur le plan cadastral de 1837) et est photographié sous ce nom par Labouche frères dans la série sur les Pyrénées. Le pyrénéiste Henri Beraldi séjourna autour de 1900 à la villa Champsaurel et fit représenter l'édifice sur une gravure sur bois réalisée par Henri Paillard. Le château continue d'accueillir les élites au début du 20e siècle ; le couple princier de Broglie-Reveil y séjourne ainsi pendant l'été 1924.

En août 1936 le château et son mobilier sont mis volontairement en vente aux enchères (en même temps que la villa Diana) avec une mise à prix à 100 000 F. L'activité hôtelière est relancée l'année suivante où un dénommé de Roll recrute pour le château Champsaurel du personnel de service.