La seigneurie de Boussagues est entrée dans la famille de Thésan-Poujol en 1360, par le mariage de Marquèse de Vailhauquès, fille de Guillaume de Vailhauquès et de Garsinde dame de Boussagues, avec Guillaume de Thésan du Poujol. C’est de cette famille que sont issus deux abbés commendataires qui ont occupé la chaire du monastère de Joncels : Henry de Thésan du Poujol, abbé de 1597 à 1645, et son neveu Joseph Gabriel de Thésan, abbé de 1645 à 1686.
Henry de Thésan du Poujol, grand archidiacre de Saint-Pons et abbé de Joncels, était chanoine de la cathédrale de Saint-Pons lorsqu’en 1597 à la suite de Paul Foix, il fut nommé abbé commendataire de Joncels (Brunel p.69). Joseph-Gabriel de Thésan du Poujol, succède à son oncle le 24 janvier 1645 comme abbé de Joncels et grand archidiacre de Saint-Pons. Il s’installe dans son château de Brousson qui a probablement été édifié entre 1645 et 1660. En 1669, il fait construire une chapelle adossée à la cage de l’escalier, il demande alors à l’évêque de Béziers l’autorisation de bénir la chapelle et d’y célébrer la messe (Brunel p.75). L’escalier à balustres rampants forme deux paliers dont le premier donnait accès à cette chapelle qui s’ouvrait par un grand arc aujourd’hui muré.
Dans le compoix de 1695, à l’article du Baron de Bozouls, sieur de Boussagues, on peut lire : « son château de la Tour, consistant en cuisines, salles, salon, chambres, antichambres, cave, tour, écuries, étables et autre cour… » (AD Hérault 312 EDT 3). Au 17e siècle, le château est mentionné comme « chasteau de la Tour de Brousson » (Brunel p.82).
Au 19e siècle, Pierre Sicard, fabriquant de draps à Bédarieux possède une écurie à proximité du château (parcelle 223 du cadastre ancien). Ce dernier, partage la maison voisine (parcelle 224 du cadastre ancien) avec Jean Pascal, cultivateur de La Tour qui possède les étages supérieurs tandis que Pierre Sicard possède le rez-de-chaussée et l’écurie. Jean Pascal possède aussi la basse-cour (parcelle 225 du cadastre ancien), une maison avec écurie, magasin et cour (parcelle 226 du cadastre ancien) ainsi qu’une maison rurale et cour (parcelle 226 bis du cadastre ancien). Ce même Pascal est propriétaire de la maison de parcelle 227 du cadastre ancien et plus particulièrement de la galerie, du rez-de-chaussée et tout le dessus du premier étage. Sur cette parcelle, Antoine Maury, maréchal à forge au château de La Tour possède la maison pour le premier étage et le dessus de la galerie, ainsi que l’escalier (parcelle 228 du cadastre ancien), la forge et la cour (parcelle 229) (AD Hérault 3 P 2928). Le château connu par la suite une longue période d’abandon.
En 1928, au chevet de l’église de Frangouille, fut découverte la dépouille, de Joseph Gabriel de Thézan du Poujol mort le 31 mai 1686 au château de Latour.
L’actuelle mairie résulte du remaniement au 19e siècle de l’aile du château. L’édifice est remarquable par son éclectisme : fenêtres à meneaux de style renaissance, porte en arc plein cintre, lucarnes en fonte de style néo-renaissance et frise de couronnement du toit de style néo-gothique.
Des travaux de remise en état de la façade ont été effectués en 1983 (Signoles p.147).
