Sur le cadastre de 1745, cet hôtel apparaît comme étant la ""maison des pères de Saint-Antoine"". Une maison et un hôpital de Saint-Antoine sont en effet fondés à Millau, dans le courant du 12e siècle, pour soigner les malades atteints du ""mal des ardents"". En 1561, toutes les oeuvres hospitalières de Millau sont réunies à l'Hôpital Mage. Dès lors, l'immeuble subit nombre de vicissitudes. Les frères de Saint-Antoine sont chassés durant les guerres de Religion mais récupérèrent leurs biens après l'édit de Nantes. Un rapport est élaboré sur l'opportunité d'établir une teinturerie dans la maison, vendue par le seigneur de Villecomtal à noble Jacques de Calmon. Puis en 1626, l'église Notre-Dame de l'Espinasse étant encore ruinée, la messe est célébrée dans la grande salle de la maison de Saint-Antoine (AMM, AA12). Après sa vente en 1770, le capitaine Gouverneur de Millau, M. de Bonnefous fait établir une ""théâtre de Comédie"" dans une partie du bâtiment. Il est ensuite mis sous séquestre en 1793 et converti en maison de réclusion jusqu'en 1814. Il est ensuite vendu en 1841 comme simple maison d'habitation avant d'accueillir la sous-préfecture, en 1866-1867, un petit séminaire (institution Saint-Louis de Gonzague) en 1880, et une boulangerie en 1891. Les vestiges de l' hôtel, suggèrent qu'un premier bâtiment a été élevé, à la fin du Moyen Age (14e-15 siècles ?) avant d'être profondément remanié au 18e siècle.