Un acte notarié de 1733 (transcription en possession des propriétaires actuels) laisse entendre qu'à cette date "la maison de la Saigne", autrefois propriété du seigneur de la Nogarède, vient tout juste d'être acquise par Pierre Bosviel de Lagoutine (1694-1754). Cet état des lieux permet de se faire une idée de la propriété, décrite en très mauvais état : précédée d'une basse-cour entourée de murs et donnant sur un jardin à l'arrière, la maison s'élève sur un rez-de-chaussée maçonné et un étage en pan-de-bois ("corondat"). Le premier niveau comprend une entrée, un couloir, un salon, une cuisine et un escalier menant au "plancher" du dessus c'est à dire au niveau supérieur où se trouvent trois chambres distribuées par un couloir. Ce niveau compte aussi un pigeonnier. Non loin de la maison est aussi mentionnée une métairie faisant partie de la même propriété.£Les Bosviel de Lagoutine gardent la propriété de la Sagne jusqu'en 1794, lorsqu'elle est acquise par Pierre Olombel (1753-1812), à la tête d'une importante entreprise de commerce textile. Olombel est alors associé à son père qui porte le même nom et qui fut le fondateur de l'entreprise familiale. Dans la généalogie de cette famille, Gaston Tournier indique que Pierre Olombel possédait un esprit entreprenant et qu'il modernisa son entreprise (Tournier, Souvenirs de familles, t. II, p. 88). L'auteur donne une indication intéressante sur le château qu'achète Pierre Olombel. Il indique que "l'habitation a subi depuis lors des embellissements mais elle n'a pas été modifiée dans ses dispositions intérieures". Il sous-entend donc que le château acquis en 1794 par Pierre Olombel était le grand corps de bâtiment que l'on connaît aujourd'hui. On doit en déduire que le remplacement de la maison à l'étage en pan-de-bois par le grand corps de bâtiment s'est opéré au cours du 18e siècle, après 1733 et avant 1794. Le cadastre du début des années 1830 le représente bien. Un tableau représentant la ville de Mazamet depuis l'ouest du début du 19e siècle (connu par une reproduction) montre le pignon ouest du château avec la travée d'ouvertures éclairant le couloir longitudinal.
La Sagne passe ensuite aux mains de Pierre-Charles Olombel (1781-1852), époux de Nancy Cormouls. A la génération suivante, c'est Philippe Olombel (mort en 1874), maire de Mazamet et époux d'une fille Ramondenc qui en est propriétaire. Le château revient ensuite à son fils, également prénommé Philippe. Ce dernier, sans enfant, s'associe avec ses deux directeurs, Gabriel Galibert et Gustave Sarrat. L'affaire s'arrête en 1888. Au tout début du 20e siècle, il morcèle le parc et vend les terrains au nord et à l'ouest du château à des industriels délaineurs qui vont y élever leurs villas. Le 20 octobre 1901, le château est acheté par la famille Bonneville (Marsili, 1992) qui le possède toujours.
Les importantes transformations apportées dans la seconde moitié du 19e siècle consistant en une reprise des façades et de leur décor et en un réaménagement important des intérieurs, doivent pouvoir être attribuées aux deux derniers Olombel qui aménagent aussi le parc et construisent les bureaux de l'entreprise, à l'est. On peut proposer le nom de l'architecte montpelliérain Louis-Alphonse Corvetto (1814-1887) pour les transformations du corps de logis. En effet, il est présent à Mazamet dans ces années-là, car il dessine les plans de la grande demeure d'Eugène Cormouls-Houlès (détruite), aux décors similaires, en 1875, ainsi que celle dEugène-Edouard Vidal une dizaine d'années plus tard, toutes deux voisines de la Sagne.
