Pierre Bosviel (1694-1754), marchand, avocat au Parlement, maire perpétuel de Mazamet, anobli sous le nom de Bosviel de Lagoutine, achète un important domaine aux portes de la ville de Mazamet. L'un de ses descendants fait édifier la demeure en 1810. Elle est construite par le comte de Milhau, cousin du commanditaire (Le patrimoine des communes..., p. 1486) architecte de la restauration des châteaux de Saint-Amans de Valtoret (dont il est aussi propriétaire) et de Sauveterre.£Une partie du domaine est cédée gratuitement, en 1886, pour le prolongement de la rue de la République et le passage de la ligne de chemin de fer. En échange, sont aménagés les trottoirs, le macadam et on fait installer le gaz. Au début du 20e siècle, Henri Jamme de Lagoutine, vend les terres autour du château par phases successives. Des demeures d’industriels sont construites entre 1907 et 1928. Le démembrement du domaine continu par le percement des rues Pasteur, Jules Ferry et de la Libération.£Le château est vendu par Alain Jamme de Lagoutine au Centre Hospitalier de Castres-Mazamet en 1991. Un projet de centre hospitalier est lancé, il n’aboutit pas. Le château est vendu à une Société Civile Immobilière qui regroupe différents propriétaires. Protégé Monument historique depuis 1992-1993, le bâtiment est aujourd’hui à l’abandon.