Le domaine est construit par Théodore de Veye et Elisabeth Vitalis de Latour, mariés en 1826, tous deux issus de deux grandes familles de la noblesse locale. Propriétaires d'une maison située à l'intérieur de l'enceinte villageoise, ils font partie des premiers Olonzagais à construire leur opulente et moderne demeure hors les murs - les fortifications sont démantelées à partir de 1807. Ils établissent leur nouveau domaine au jardin du portail Haut, au nord-ouest du bourg, sur des terres leur appartenant composées de terres labourables, vignes, pâtures et bâtiments agricoles. L'ensemble comportait notamment un moulin à eau exploité pour la mouture des céréales (ils possèdent également, à la même époque, un moulin à vent situé du côté de l’actuelle avenue d’Homps).
La construction du vaste domaine semble débuter par le bâtiment qui ferme actuellement le côté gauche de la cour, dont l’une des ouvertures porte la date de 1828. Ce nouvel équipement, entièrement dédié à l’activité viticole en plein essor, témoigne de la mutation profonde qui s’opère à cette époque dans la région. En effet, la famille de Veye-Vitalis abandonne progressivement les cultures céréalières, qui faisaient autrefois la réputation du Minervois, au profit de cette nouvelle activité particulièrement lucrative. Le château est bâti vers 1855, année de son enregistrement sur les matrices cadastrales. Son architecture est inspirée de la "Farnesina", villa romaine construite entre 1508 et 1511 par l'architecte Baldassarre Peruzzi.
Théodore de Veye décède en 1860, après s’être investi dans la vie communautaire et religieuse du village dont il a été maire de 1848 à 1852. Son épouse Elisabeth prend alors la direction du domaine jusqu’à sa mort en 1881. On lui doit notamment la construction de la petite chapelle familiale de style néogothique qui s’élève dans le parc. Un autre corps de bâtiment dédié à l’activité agricole et au logement du personnel, construit à droite de la cour en 1866, complète également l’ensemble architectural.
Elisabeth Vitalis de Latour décède en 1881. Son petit-fils Charles de Veye lui succède à la tête du domaine. Il contribue à son embellissement par la création d’un remarquable ensemble paysager, conçu par le Montpelliérain Léon Aussel en 1892.
Photographe prestation Fish Eye dans le cadre de l'étude du patrimoine industriel du département de l'Hérault de 2011 à 2013