Située sur la promenade des Coustous, que la haute-société privilégie pour se loger au 19e siècle, cette parcelle est construite depuis le Moyen Âge. A la fin du 17e siècle, la maison qui occupe ce terrain est considérée comme "la plus belle de la ville" avec "son magnifique jardin rempli d'arbustes, de fleurs et de fruits". Elle appartenait à M. de Berné, juge royal, qui avait acheté sa charge en 1648. Selon le Terrier de 1771, l'immeuble est toujours propriété du "noble" Dominique de Berné, ancien juge. Le mode constructif et le parti pris néoclassique de cet édifice, représentatif de l'’architecture thermale romantique, permettent cependant de supposer des travaux de remaniement au tournant du 18e au 19e siècle. En 1830, l'édifice passe au main d'un dénommé M. de Torné, originaire de Campan, qui épouse l'héritière de Berné et devient également juge royal. Il est visible sur les gravures représentant l'allée des Coustous et ne compte en 1870 que deux étages carrés et un comble.

Sa conversion en hôtel de voyageur entraîne une surélévation à la fin du 19e siècle. Dans une brochure touristique publiée en 1903, il est fait mention à propos de l'édifice d'un hôtel privé, non loin de l'établissement thermal. Il abrite des appartements de grands luxes pour tous les goûts puisqu'ils sont meublés anciens et modernes. On y trouve tout le confort moderne ainsi que des écuries, des remises et un garage automobile. Cet hôtel, propriété de Mme Dayraut, est alors à vendre où à louer.

Sous la Troisième République, il apparaît dans la documentation iconographique comme Grand Hôtel Victoria. A cette époque, un seul et même propriétaire, J. Perez, possède cet établissement ainsi que le Grand Hôtel d'Angleterre lui faisant face, ce que démontre un cartel publicitaire vantant leurs équipements et leur confort. C'’est pourquoi, sur les clichés photographiques, l’'enseigne surplombant le portail de la cour du second édifice associe alors leurs deux noms. Cette réclame illustrée magnifie l'hôtel en lui prêtant une situation d'angle, alors qu'il est construit en retrait de l'allée des Coustous. Elle le "gonfle" en lui ajoutant deux travées un étage supplémentaire. En 1912, les deux hôtels sont toujours propriétés de J. Pérez et offrent comme service un grand garage, l'électricité et le téléphone. L'annonce précise "panonceau de l'A.C.F", indiquant ainsi que les membres de l'Automobile-Club de France y sont particulièrement les bienvenus (Bagnères thermal, 21 juillet 1912).