Lors des premières grandes courses qui conduisirent Ramond et ses contemporains sur le Massif du Mont-Perdu, les guides étaient choisis à Luz, Cauterets ou Barèges. Le métier de guide resta longtemps attaché à la ville thermale et à sa clientèle. Puis la famille Passet devient une célèbre dynastie de guides de haute montagne établie à Gavarnie pendant des générations. Laurent et Hippolyte Passet sont les premiers de la dynastie Passet à se faire connaître au cours de la 2ème moitié du 19e siècle. Ce sont Henri et Célestin Passet qui font sortir de l'ombre la famille des guides de Gavarnie. Né en 1845, Célestin Passet devient l'un des plus grands guides pyrénéens : à 27 ans il réalise la première ascension du Mont Perdu par la face Est avec Russell. La maison a probablement été construite dans la période qui a vu le développement du quartier de Baratgi, au tout début du 19e siècle. Elle se trouvait à proximité de l'Hôtel des Voyageurs. Elle figure dans toute son emprise actuelle sur le plan de 1877. Toutefois, l'édifice a été largement remanié : la date portée (1903) est vraissemblablement celle de la restauration de l'édifice. Les initiales du chronogramme évoquent le nom de Pierre Passet, qui vécut à Gavarnie au début du 20e siècle.