Le château de la Verrerie, propriété de la famille de Solages, a été détruit par un incendie survenu le premier avril 1895. Il faudrait en réalité parler des châteaux de la Verrerie puisque deux édifices se sont succédé. Une première "maison" a d'abord été élevée, autour du milieu du 18e siècle et elle était habitée par le chevalier Gabriel de Solages et son épouse Marie de Julliot de Longchamp. Si l'année de construction de ce premier château n'est pas connue, on peut tout de même évaluer qu'il est bâti peu après 1752 (année de l'autorisation royale d'établir une verrerie) et avant 1760 (le "château de Blaye" est alors mentionné dans un acte de décès d'un des membres de la famille de Solages). Dans un premier temps, Ambroise Piot, l'associé de Solages dans la verrerie royale, en était aussi propriétaire. Il vendit ses parts au chevalier en 1776, l'année même où celui-ci souhaitait l'agrandir. En effet, à cette date, des pierres en provenance de l'ancienne résidence des archevêques d'Albi, à Combefa, distant de seulement 4km, sont acheminées jusqu'au château de Gabriel.
Ce château a été détruit au cours de la seconde moitié des années 1830. Un commentaire dans la marge de la vue cavalière du château indique qu'il le fut entre 1836 et 1837. À ce moment, c'est encore Blanche de Bertier de Sauvigny, la veuve d'Hippolyte de Solages (mort en 1811), qui en est propriétaire. Blanche le donne à son fils Achille de Solages (1804-1887) en 1838 (succession du 17 sept. 1838). Achille de Solages est alors président du conseil de la Société depuis 1834. Le nouveau château est reconstruit peu de temps après la maison de direction ; deux "maisons nouvellement construites" sont déclarées dans le cadastre en 1840 (ADT, 3 P 318). Ces deux bâtiments sont en outre implantés suivant la même orientation, ce qui vient corroborer leur contemporanéité. La reconstruction du château intervient donc alors que la verrerie est encore en activité (et non pas quand la verrerie a quitté le site), et qu'une série d'échanges de bâtiments sont menés entre les Solages et la Compagnie pour simplifier l'organisation des lieux.
À l'emplacement du château du 18e siècle, dont on a conservé l'assiette, un autre château a donc été élevé, sur un plan en U nettement plus profond que le précédent et dans des proportions deux fois supérieures. Les ailes en retour s'orientent cette fois du côté de la cour arrière. Cette grande demeure néoclassique assez sobre, s'élève sur un seul étage et était couverte par un toit de tuile à faible pente. Cet édifice est connu par des photographies prises à la fin des années 1870 par Paul de Solages (Collection particulière) qui en montrent les extérieurs, côtés est et ouest. Un dessin daté de 1858 d'Henriette de Solages publié en carte souvenir témoigne aussi de l'aspect de ce château ainsi que de celui du jardin autour du grand cèdre et de l'étang.
Ce second château connaît des travaux d'embellissement et de surélévation d'un comble, en 1881, ce dont rendent compte des photographies prises au moment du chantier (collection particulière, photos de Prompt, photographe albigeois). Les façades sont transformées grâce à des décors d'enduit et un haut niveau de comble à longs pans brisés couvert d'ardoise vient remplacer le toit de tuile. Une autre série de photographies prises l'année qui a suivi l'achèvement des travaux témoignent de l'aspect que le château avait finalement adopté. Il gardait un style classique empreint d'un certain académisme, caractéristique de la fin du 19e siècle. Ces travaux peuvent donc probablement être attribués à Gabriel de Solages (1829-1886), le fils d'Achille.
Le château connaissait à nouveau quelques travaux d'aménagement intérieur quand il a brûlé en 1895, ce dont témoignent une série de plans (AMC, SMC 1/10). On souhaitait surtout à aménager davantage de chambres encore.
À la suite de l'incendie, la famille de Solages s'est installée dans l'ancienne maison de direction (logements des directeurs de la verrerie et de la mine), située à l'ouest du château. Elle y fit adjoindre deux annexes successives : le pavillon Duclos puis le pavillon carré qui subsiste actuellement au sud.
En 1905, Ludovic de Solages n'avait pas abandonné l'idée de reconstruire le château. En effet, lors de la vente du domaine du Ségalar à la Compagnie des mines de Carmaux, il est stipulé que le produit de la vente est destiné à la reconstruction du château (AD Tarn, 124 J 3, acte de vente du 3 mai 1905).
