La Société des mines d'Albi commence à s'établir dans la plaine de Pélissier en 1893 et les premiers bâtiments industriels sont mis en service l'année suivante (E. Grand, p. 52). Dans le même temps, elle aménage une voie de chemin de fer pour faire venir le charbon extrait des puits de Camp grand, sur la commune de Saint-Sernin-les-Mailhoc (devenue Cagnac-les-Mines), située à quelques kilomètres au nord où s'étend la concession d'Albi.
Pour s'établir, la Société fait l'acquisition, en 1901, d'un domaine préexistant, à Pélissier. Au centre des terres agricoles, les bâtiments organisés autour d'une cour intérieure ont été construits une dizaine d'années auparavant par Etienne Alexandre Soulages (ADT, 3 P 94 et 95). La SMA les conserve et la demeure devient la maison d'administration de la Société (187 ter avenue de Pélissier).
La Société a fait appel à l'architecte départemental Léon Daures pour la conception des bureaux, des pavillons d'entrée de l'usine, des maisons de chefs de service ainsi que pour apporter quelques transformations à la maison d'administration (ADT, fonds de l'architecte L. Daures, 143 J 73, 386-387). L. Daures est par ailleurs le beau-frère du directeur de la SMA, Paul Péret. L'entreprise Campenon et Bernard réalise les travaux.
Les bureaux de la Société sont installés à l'entrée du site industriel, à l'angle de l'avenue de Pélissier et de la rue Gaston Bouteiller, juste en face de la maison d'administration. Ils sont construits probablement en deux temps. Le rez-de-chaussée semble être élevé autour de 1910 et un étage est ajouté en 1918. À ce moment, la cour d'entrée de l'usine est aussi pourvue d'un jardin également dessiné par Léon Daures. Les deux pavillons d'entrée de l'usine sont bâti en 1913.
Le long de la rue Gaston Bouteiller, deux maisons jumelles pour loger les chefs de services sont construites en 1920. Celle située aux n° 2 et 4 est réalisée sur les plans de Léon Daures. En 1924, elles sont occupées par le chef des ateliers et le chef des services électriques (ADT, 143 J 73). La maison jumelle située au n° 6 et 8 est construite sur un modèle plus simple quelques années plus tard.
Après la Première Guerre mondiale, en 1922-1923, la Société a souhaité mettre en place une stèle commémorative, au premier étage des bureaux, à la mémoire de ses employés et ouvriers tombés au combat. Léon Daures a dessiné le projet et plusieurs artisans en ont assuré la réalisation (châssis par les frères Limousy, vitraux par J. Fauré de Gaillac, sculpture en bronze par Fourès à Toulouse).
Un lotissement d'une dizaine de logements avec jardin a été aménagé à l'ouest de l'usine, probablement dans les années 1960.
Les installations de Pélissier ont cessé de fonctionner en 1958, et onze ans plus tard, une Centrale thermique a pris le relai (Le Breuil, à la découverte..., p. 14). Elle fut elle-même fermée en 2006. Il ne reste rien des bâtiments industriels. Les bureaux sont préservés et toujours occupés.
