La villa est représentée pour la première fois sur le plan de la ville dessiné par Castex (1873) et peut donc être datée des années voisines. Elle est mentionnée comme construction nouvelles sur les registres du cadastre en 1875 (parcelle B 1149) et est alors imposée sur un revenu de 1 000 F. Elle porte alors le nom de "villa Vestri", nom de sa première propriétaire, ancienne chanteuse du théâtre des Italiens qui la propose à la location saisonnière. Elle prend très vite le nom de "villa Raphaël" car c'est sous cette appellation qu'elle est figurée sur le plan de Luchon de 1882 et qu'on la trouve ensuite citée dans des articles de presse. La demeure semble être alors, dans les années 1880, un lieu incontournable dans la vie festive luchonnaise.

En 1890, elle est propriété d'un riche américain, Mr. Rigts, collectionneur d'armes anciennes et récompensé pour ses travaux artistiques.

La villa devient par la suite une annexe de l'hôtel du casino construit à proximité : ce changement de destination est sans doute consécutif à la vente aux enchères de l'édifice le 20 juillet 1897. L'annonce la décrit comme "composée de vaste habitation à rez-de-chaussée, trois étages, belvédère, jardin, dépendances. Ensemble le mobilier garnissant la villa. Mise à prix : 50 000 francs".

C'est dans cette villa que vient séjourner Georges Clémenceau lors de sa venue à Luchon en 1887 et que réside aussi Mata Hari en 1912. La villa a servi de siège de la Gestapo entre 1942 et 1944 (Pac, op.citée p. 98). Elle a depuis été lotie en appartements. La partie supérieure du belvédère a été fortement remaniée : il était initialement surmonté d'une terrasse couverte, connue par une photographie ancienne, qui a été complètement fermée par des baies vitrées et est désormais relié directement aux combles par un passage vitré ce qui n'était pas le cas primitivement. Les lambrequins qui accompagnaient chacune des fenêtres ont tous disparu, de même que la crête de faitage. Une carte postale ancienne montre également que les lucarnes encadrant la travée centrale de la façade n'existaient pas dans le parti initial ; en revanche, en partie haute, la toiture était percée de deux petits lucarnes en forme d'oculus.