Madame de Lassus-Nestier, épouse du subdélégué de l'intendant à Montréjeau, le baron Marc de Lassus, souhaitait avoir une installation digne de son rang à Luchon où elle se plaisait. Son époux fit acheter par son oncle, le 17 novembre 1772, une parcelle située sur l'allée d'Etigny, pour la somme de 576 livres. Une grande demeure y fut rapidement construite, entourée de jardins. A la fin du 18e siècle, la maison fut vendue à la famille Lafont ce qui explique le double nom sous lequel est désormais connu l'édifice.£Le château a été acquis par la commune en 1925 auprès de Mademoiselle Sapène, héritière dela famille Lafont-Lassalle, afin d'abriter les collections Sacaze et celles du musée Lézat dans le casino municipal. Lors des travaux de réaménagement, les baies du rez-de-chaussée et de l'étage ont été inversées : les portes-fenêtres étaient initialement situées aux premier étage. Une pierre d'évier est restée en place sur l'élévation sud. La protection de l'édifice au titre des monuments historiques date de cette période.£Le musée a été inauguré le 28 août 1931 (Avenir de Luchon) en présence de Fernand Bouisson, président de la chambre des députés. Les quatre salles étaient respectivement dévolues à l'histoire de Luchon (salle 1), au plan en relief des Pyrénées Centrales (salle Lézat), aux collections de minéralogie complétées par quelques objets de zoologie (salle Maurice Gourdon), les collections de marbres antiques de la Société Julien Sacaze (salle Julien Sacaze).