Cette grande demeure construite au nord du bourg est accolée à une ancienne porte de ville actuellement murée qui donne accès au faubourg nord. La proximité de la porte et sa position sur l'enceinte peuvent laisser supposer que les habitants de cette maison étaient chargés de garder la porte. Si l’élévation nord de l’édifice s’est construite sur l’enceinte du bourg, antérieure au 15e siècle, aucun élément architectural significatif antérieur au 15e siècle n'a été observé sur place. La construction de la maison peut être datée, plus certainement, à la fin du 15e siècle ou au début du 16e siècle comme l'indique notamment la forme des fenêtres. Les fenêtres sont à chanfrein, à baguettes croisées ou à larmiers, une variation dans les formes qui est fréquente à la fin du 15e siècle et au début du 16e siècle.
La tradition orale rapporte que le bailli prononçait ses sentences ou faisait connaitre ses volontés depuis une tribune ou loggia supportée par des arcades surbaissées (aujourd’hui murées) donnant sur la place de la Meule (Brunel p.680). Cela ne peut, cependant pas être vérifié car aucun vestige ne permet de l'attester.
La demeure fut l'habitation seigneuriale de la famille des Dalichoux de Sénégra, seigneurs et barons de Sénégra, de Rocassels et autres lieux (Fournier p. 35). Elle fut la propriété successive de la famille Villechoy en 1664, de Clermont-Rieussec en 1698, du baron de Bezouls, seigneur de Boussagues, pour revenir en 1714 aux Sénégra. Selon une source orale, la maison fut confisquée à la Révolution en tant que bien national. Les archives de 1827 indiquent que Joseph Mejanel est propriétaire de la maison (AD Hérault 3 P 2929). Entre 1848 et 1860, Joseph Honoré de Sénégra rachète l’édifice et procède à la restauration de la demeure. Sa nièce, Armandine légua ses biens à son beau-frère Léonce Tapie de Ceyleran, qui transmis le bien à sa fille. Cette dernière se maria avec le comte Alphonse de Toulouse-Lautrec avec qui elle donnera naissance au peintre Henri de Toulouse-Lautrec, qui hérita de la maison mais n'y habita jamais. Par la suite, le bien échu au père de la comtesse Attems puis à la comtesse elle-même et à ses enfants.
A la fin du 19e siècle, la maison accueillit une école. En effet, une lettre du curé de Boussagues, datée du 22 mai 1860 et adressée au maire, réclame l’autorisation d’installer une école de filles dans la maison du bailli (Fargier p. 98). Après approbation, la maison fut mise à la disposition du curé avec une rente annuelle, selon Fabre, de 150 francs. (Fabre p. 48). Louis Fargier estime que l'école fonctionna jusqu’au début du premier quart du vingtième siècle (Fargier p. 103).
La demeure est ensuite abandonnée pendant plusieurs décennies avant d'être acquise par Gabriel-Alphonse Duch en 1941 (Duch p.3).
