A l'origine, il s'agissait de la maison de la famille Laroze, élevée dans la seconde moitié du 19e siècle. C'est ensuite devenu l'hôtel des postes, l'un des bâtiments publics majeurs de l'industrie du délainage puisque que c'est d'ici que partaient les échantillons de laines. Par une délibération du conseil municipal du 3 novembre 1895, le bâtiment a été baptisé hôtel Barbey, en mémoire d'Edouard Barbey (1831-1905), homme politique de premier plan et maire de Mazamet de 1871 à 1883. Le plan de la ville de 1898 indique que le bâtiment abritait alors les postes et télégraphe, le téléphone, la Caisse d'Epargne et la Chambre de commerce (ces deux dernières institutions seront logées dans des bâtiments indépendants dans les années 1900 et 1910).£Une nouvelle poste a été élevée avenue Rouvière après la Seconde mondiale. Le bâtiment abrite actuellement des services sociaux de la ville. Les grilles du rez-de-chaussée ont disparu.