En juillet 1896, Auguste Berne-Lagarde (1850-1931), notaire et maire d'Albi (1892-1896), achète le domaine du Vergnet à Louis Philippe Gisclard (géomètre à Moularès) et à Marie Albertine Laurens, son épouse, pour la somme de 18 000 F. Le domaine se compose alors de 23 hectares. Les nouveaux propriétaires font encore des achats complémentaires de terre en 1897-1913. La grande demeure est construite très peu de temps après l'acquisition, puisqu'elle est déclarée construction nouvelle sur le cadastre en 1901, sur la parcelle A 320 ; le chantier a probablement commencé deux ou trois ans auparavant (ADT, 3 P). Dans ses mémoires, Raymond de Berne indique que pour bâtir le château, son père avait fait appel à un architecte albigeois dénommé Arnaud et que les deux hommes avaient collaboré pour en établir les plans (Archives privées). Le fils indique encore que plus tard, un parc fut planté, surtout avec des pins et des cèdres. Il précise aussi que pour l'alimentation en eau du château, un grand réservoir fut aménagé en hauteur, à 500 mètres du château, en partie creusé dans le rocher et recouvert de ciment.
Le 2 avril 1938, le domaine du Vergnet et les 35 hectares de terres qui lui sont alors attachés, sont revendus par la veuve de Berne-Lagarde et ses enfants pour 150 000 F à Gabriel Jean Baptiste Marie Denis Gely, ancien receveur de l'enregistrement, minotier à Carignac (Ardennes). Il reste propriété de cette famille jusqu'en 1947, date à laquelle il est vendu à Georges et Germaine Cayré. Ce sont eux qui font aménager le parc entre 1954 et 1956 par la pépinière la Flambelle de Toulouse. Passionné d'arbres, Georges Cayré fait aussi planter des hectares de bois. Le domaine est revendu en 1967 à M. Constancin, chirurgien à Martigues mais il ne l'occupe que très peu. En 1977, Guy et Marie-Jo Lestieux le rachètent et la demeure devient alors un hôtel-restaurant (Relais du Silence, jusqu'en 1983). Le domaine est à nouveau revendu en 1990 et racheté par un SIVOM (Syndicat intercommunal à vocation multiple). Il est alors occupé par une association, l'ASEI, qui oeuvre à l'éducation et l'insertion des personnes en situation de handicap et des personnes dépendantes et fragilisées. Toujours propriété du SIVOM, la demeure est actuellement proposée à la location.
