Appartenant au 19e siècle à la famille Brauhauban (également propriétaire de la pension ayant accueilli les duchesses de Berry et d'Angoulême et le couple impérial), le site est occupé au moins depuis le Moyen Âge par un ermitage dédié à saint Pierre fondé par les chevaliers de l'Ordre de Malte. Il se trouve sur l'ancienne route menant du bourg de Luz à Gavarnie.
Le lieu de culte, annexe de l'église de Luz, qui s'y élève primitivement tombe progressivement en ruines au 18e siècle et à la Révolution. Après son séjour à Saint-Sauveur en 1859, Napoléon III commande donc, pour 16.000 francs de sa cassette personnelle, la construction d'une nouvelle chapelle en hommage aux victimes de la bataille de Solférino survenue lors de la campagne d'Italie. Cette bataille causa 40.000 morts et incita Henry Dunant à créer la Croix-Rouge. D'après la matrice cadastrale, Jean Brauhauban est officiellement exproprié en 1860 en vue de la réalisation de ce projet.
Les travaux sont commandés auprès de l'architecte Emile Boeswillwald, alors en charge des Edifices diocésains pour la circonscription toute proche des Basses-Pyrénées, également auteur de l'église Saint-Martin de Pau et de la chapelle impériale de Biarritz, mais aussi de la nouvelle chapelle du bourg de Saint-Sauveur. Surveillé et dirigé par l'ingénieur Guillemin, le chantier débute dès 1859 et s'achève en 1863.
A l'occasion de cette reconstruction, l'ermitage Saint-Pierre est rebaptisé Solférino, ce qui suscite l'étonnement de certains contemporains, mais il permet de revaloriser le site et de créer un nouveau but de promenade avec de superbes panoramas sur la vallée et les bourgs de Luz et de Saint-Sauveur. La chapelle arbore les monogrammes de l'empereur et de l'impératrice (N et E). Une stèle est également érigée à proximité, portant des inscriptions explicitement dédiées aux victimes de la bataille.
