Le bâtiment apparaît sur le cadastre de 1830 sur les parcelles 204 et 205 de la section B01. Une plaque sur l’arche indique que le bâtiment existait aux XIVe et XVe siècles et qu’il a été transformé en séminaire par Mgr Nicolas Pavillon en 1672.
De source orale, les personnes ressources du village affirment que pendant l’essor du thermalisme à Alet-les-Bains au cours du XIXe siècle, l’ancien séminaire est transformé en pension de familles et tenu par les sœurs.