En 1837, l'emprise de l'actuelle demeure et de son jardin était occupée par une maison principale organisée autour d'une cour intérieure appartenant à Jean Jacques Antoine Fabre, juge de paix au Moulin Neuf qui possédait aussi une maison située en parcelle 280. En revanche, la maison située en parcelle 279, appartenait à un autre propriétaire, Henri Fabre et la maison de la parcelle 281, à un négociant de Castres, Jean Jacques Aimé Fourgassié (AD Tarn, 3 P 999). A la génération suivante, Gabriel Auguste Fabre fait démolir les deux maisons situées en parcelle 278 et 280 pour en reconstruire une nouvelle, sur de plus amples proportions, en 1857. Le projet est achevé en 1863, date à laquelle la maison située sur les boulevards (parcelle 281) est détruite pour l'aménagement du jardin (AD Tarn, 3 P 1000).