Sur le plan de Barèges dû à M. Fenis de Tourondel (SHD Vincences, 1 VH 190 publié par Meynen, 2015) et daté du 17 juin 1714, plusieurs petites maisons, dont certaines sont mitoyennes, occupent l'emplacement de l'édifice. Ces petites maisons, proches des bains, étaient vouées à la location saisonnière ; celles marquées du chiffre 4 étaient destinées"" aux personnes de remarque"" tandis que les maisons avec le chiffre 5 pouvaient être louées par ""les étrangers"". Dès cette date, la construction de l'édifice est envisagée, matérialisée par une emprise jaune sur le plan : il doit prendre la place de six maisons.

L'édifice est présent sur le plan de 1731 repris par Tournier-Lasserve en 1934 (op.citée, fig. 3) ; il est alors scindé en deux parties, l'une correspondant à une maison et l'autre à une grange et l'ensemble appartient à un dénommé Theil. Il est ensuite représenté sur tous les plans de Barèges depuis le 18e siècle mais cette dissociation n'est plus mentionnée et n'est pas apparente dans l'état conservé ce qui indiquerait une reprise au cours du 18e siècle. La forme segmentaire des arcs des baies, l'appui mouluré de l'élévation sud et le décor de la travée d'entrée confirment cette datation au 18e siècle.

Sur le plan de Moisset 1794 (AD HP 2 0 22), il est indiqué que l'édifice est propriété de ""Vergez d'Areit""; le terme Areit renvoie peut-être au lieudit éponyme sur la commune de Préchac. La partie ouest est indépendante du reste de l'édifice et est divisée en deux salles dont la seconde possède une baignoire alimentée par une source. La légende précise qu'il s'agit du ""bain de la chapelle"", nom dû à la proximité avec la ""cy devant"" chapelle des bains. Il est alors prévu de renommer ce bain ""bain de la grotte"" pour en ôter la connotation religieuse.

Un ""plan à vue d'oiseau"" de Barèges, reproduit par Tournier-Lasserve (op. citée, fig. 14) et daté autour de 1820 précise la destination de l'édifice (n°5 du plan), désigné sous la mention ""hôtel Vergez"". L'extrémité ouest de ce bâtiment, à proximité des bains, est à nouveau détaillée : elle est scindée désormais en trois espaces dont l'un est grisé et est accompagné de la lettre O qui renvoie en légende à la précision ""bains de la chapelle"". Ces bains sont alimentés par la source repérée par la lettre Q. L'aménagement de ces bains complémentaires, dont l'existence est corroboré par deux plans à 30 ans d'intervalle, explique les trois accès (un sur le pan arrondi et une de part et d'autre) qui sont conservés sur cette partie de l'édifice. L'hôtel Vergez occupait aussi le bâtiment voisin (n°4 du plan) au nord, au plan en U qui a disparu depuis.

Sur l'état de section du cadastre de 1836, la maison est propriété de Joséphine Vergès. L'hôtel Vergès est utilisé par l'armée comme pavillon des officiers. Son achat, envisagé dès 1833, a été effectué par la vallée pour le compte de l'administration militaire en échange du pavillon du génie (SHD 1 VH 191, Meynen op. citée). Il est utilisé pour le logement du personnel administratif et de santé, les officiers ayant désormais leur propre aile au sein de l'hôpital militaire.

La vocation militaire de l'ancien hôtel a perduré sous une autre forme au 20e siècle puisque l'édifice abrite le centre montagne air de Barèges. L 'hôtel a perdu au cours du 20e siècle les lucarnes de son niveau de comble, visibles sur les photographies anciennes.