Le secteur n'est pas encore bâti sur le cadastre dit napoléonien établi en 1818. La parcelle est décrite comme une terre labourable avec sol ; elle appartient déjà à André Caffort (section A, parcelle 475). Une première maison semble être construite en 1824 par ce dernier sur l'actuel bouleverd Gambetta (matrice cadastrale de 1818, f°117). Son fils Jacques puis son petit fils du même nom constituent progressivement un vaste ensemble foncier en achetant plusieurs bâtiments et terrains situés à l'arrière de la maison primitive, à l'intérieur de l'ilot compris entre les actuelles avenue de Béziers et rue Châteaudun alors occupé par une poterie et une clouterie. Jacques père y fait construire des bâtiments viticoles et logements ouvriers en s'assurant un accès depuis l'impasse de la Poterie (perpendiculaire à l'avenue de Béziers), sur laquelle il achète en 1855 la "faculté de passage à pied, avec bêtes de somme et charrettes [...] pour servir à l'exploitation des bâtiments ruraux et bâtiments d'habitation qu'il possède". L'acquistion d'un premier terrain en 1845, puis d'un espace servant de sol pour les usages de poterie en 1856 lui permettent d'agrandir considérablement la surface de son jardin vers l'est et d'y construire une cave viticole rectangulaire, perpendiculaire à la maison. Il fait ensuite l'acquisition en 1859 d'une maison d'habitation avec écurie et cour fermée jouxtant sa nouvelle cave à l'est, qu'il transforme en écurie et maison à fourrage. Jacques fils poursuit ce projet en achetant une maison d'habitation en 1861 et une cour fermée en 1862 situées impasse de la poterie.
Dans le troisième quart du 19e siècle, la famille Caffort s'enrichit considérablement grâce à l'essor économique lié à la culture de la vigne, à l'instar des autres propriétaires viticulteurs d'Olonzac et plus largement du Minervois et du Biterrois. Cette période faste permet à Jacques Caffort père de se lancer dans la construction d'une maison de maître luxueuse, qu'il fait construire à l'emplacement de l'ancienne et dont les travaux sont achevés en 1871 (matrices cadastrales de la commune d'Olonzac, 3P1934, augmentations de l'année 1874).
La maison et les bâtiments agricoles reviennent à Jacques Caffort fils en 1890. Ce dernier achète en 1893 une maison située au fond de l'impasse de la Poterie afin d'y installer des logements ouvriers ainsi qu'une parcelle de terre au sud sur lequel il fait construire une nouvelle cave rue Chateaudun, dans le prolongement du domaine familial - ce vaste bâtiment n'apparaît pas sur le plan cadastral de la commune dressé en 1897 (AD Hérault, 2O189/5/5) en revanche il est déjà construit sur des plans à main levée réalisés en septembre 1903 et conservés dans les archives familiales. Ces croquis, probablement réalisés par le propriétaire lui-même, présentent un projet d'agrandissement et de modernisation de la maison de maître et du jardin partiellement réalisé. Le projet prévoyait la destruction totale de la vieille cave, la création d'une extension sur le jardin avec bureau au rez-de-chaussée et salle de billard à l'étage, la construction d'une galerie couverte reliant la maison à l'écurie en logeant l'extension et le jardin, la destruction d'un atelier, la transformation d'une remise en hangar à voitures et la construction d'une nouvelle petite remise. Finalement, seule une partie de la vieille cave viticole sera détruite pour laisser place à une extension en rez-de-chaussée avec salle de billard et fumoir, reliée à la maison principale par le biais d'une galerie couverte au-dessus de laquelle est aménagée une salle de bain destinée aux chambres du premier étage.
Jacques Caffort fils et son épouse Isaure Rouairoux auront quatre enfants, dont Charles Caffort (1880-1958) qui hérite du domaine familial à la mort de son père en 1905. Âgé de 27 ans lors de la révolte des vignerons de 1907, il devient l'une des figures emblématiques de la défense du monde viticole. Avocat à la Cour d'Appel de Paris, membre fondateur de la cave coopérative d'Olonzac et président de la Confédération générale des vignerons du Midi, il est également conseiller général du canton d'Olonzac entre 1907 et 1940 et est élu député de l'Hérault le 26 avril 1914 sous l'étiquette radical-socialiste, puis à nouveau en 1924 et 1928. Il est également maire d'Olonzac de 1939 à 1944 et de 1947 à 1953.
Lors de la Seconde guerre mondiale, sous l'Occupation, le dernier étage de la maison a été réquisitionné par les troupes allemandes.
Dans la seconde moitié du 20e siècle, le jardin est agrandi grâce à la démolition de la vieille cave, de l'atelier et de la remise. Le domaine appartient encore aujourd'hui à la famille Caffort.
Charles Caffort naît à Olonzac en 1880 dans une famille de viticulteurs héraultais. Après des études de droit à Paris, il devient avocat à la Cour d'Appel de Paris entre 1903 et 1910. Défenseur du Midi viticole, il fonde la cave coopérative d'Olonzac et devient président de la Confédération générale des vignerons du Midi en même temps qu'il gère son domaine familial. Actif pendant la Révolte des Vignerons de 1907, il s'engage en politique en devenant conseiller général du canton d'Olonzac entre 1907 et 1940. Il est élu député de l'Hérault le 26 avril 1914 sous l'étiquette radical-socialiste, puis à nouveau en 1924 et 1928.