Dans sa longue et complète notice sur Pierre-Elie Houlès (Roquecourbe 1790-Mazamet 1851), Gaston Tournier indique que c'est lui qui a fait bâtir en 1820 la demeure généralement désignée rue de l'Horte. Protestant, P.-E. Houlès allait devenir l'un des plus éminents marchands fabricants de draps de la ville dont il fut mairie pendant les dix dernières années de sa vie. Venu à Mazamet pour travailler à l'usine des Casernes, il est remarqué par Pierre Olombel (1716-1812), grand négociant qui l'embauche avant d'en faire son associé. Houlès épousera sa fille, Lydie Olombel en 1813, un an après la mort de Pierre Olombel. Ce dernier était propriétaire du domaine voisin de la Sagne dont dépendaient les terres sur lesquelles fut élevé l'hôtel Houlès.Très vite, Houlès allait laisser la maison Olombel à ses beaux-frères et fonder sa propre société avec son frère François en 1819 (G. Tournier, t. II, p. 430). Les deux frères introduisent dans les pratiques industrielles mazamétaines plusieurs innovations : pénétration sur le marché parisien avec les tissus de nouveauté (mode) et introduction des métiers à tisser à la Jaquard et plus tard les métiers à filer dits "mull Jenny". Houlès s'est par la suite associé à son fils Eugène sous le nom de société 'Houlès et Fils" et encore à Ferdinand Cormouls sous le nom "Houlès et Fils et Cormouls". Sa fille Charlotte-Louise Houlès allait épouser Ferdinand Cormouls (1802-1871) ; ensemble ils fondèrent la famille des Cormouls-Houlès.£En 1836, quand le cadastre est dressé, P.-E. Houlès possède à proximité de sa maison, une grande teinturerie (1836 A 864) établie sur le canal de la Nogarède et un moulin à eau désigné comme simplement bâtiment ( A 953). Non loin de là, au Redondal, il possède aussi une usine textile (A 1005).£A la mort de Pierre-Elie Houlès, son épouse l'occupe, jusqu'à ce qu'elle décède à son tour en 1865, ainsi que sa fille et son mari, Ferdinand Cormouls. C'est ensuite son petit-fils Jules Cormouls-Houlès (1851-1920), industriel délaineur, qui en est propriétaire et qui s'y installe avec Eva Vidal qu'il épouse en 1875. A proximité, il y développe ses entrepôts de stockage et des magasins pour les laines, des bureaux, un logement pour le concierge, un garage automobile et des écuries, comme le montre le plan monumental de la ville de 1895 ou le plan de ses biens dressé en 1912. Jules avait fondé son usine de délainage à Montlédier au pied du château qu'il rachète au marquis du Lac.£L'hôtel semble avoir connu des transformations secondaires au cours de la première moitié du 20e siècle, selon la forme du garde-corps de la terrasse à l'angle sud-est. Elle est actuellement divisée en appartements.