Il s'agissait à l'origine d'un ancien castrum entouré d'un fossé à sec sans rupture de pente à hauteur de la mare, dont il ne reste rien aujourd'hui à l'exception d'un ancien souterrain. Le château a été rebâti à son emplacement à la période moderne, ainsi que l'indique la typologie des bouches à feu visibles au pied des tours d'angle. Il appartenait en 1640 à la famille de Beillard d'Esplas alliée à la noblesse de Mazères. D'après Barrière-Flavy, on pouvait encore voir dans le cimetière, autour des années 1900, une pierre tombale avec l'inscription : ""De Beillard, Seigneur d'Esplas, Chevalier de Saint-Louis, Messire de Lamp...de cavalerie... le 28 janvier 1792"". Au cours du 18e siècle cependant, la famille de Beillard transmit ses droits à la famille de Morteaux et d'Escoffres. Le château a été en grande partie reconstruit au cours du 18e siècle. Barrière-Flavy évoquait la date de 1711 sur le marteau de la porte d'entrée. Une inscription, qui tend à devenir peu lisible, est gravée sur la clef en pierre de l'encadrement en brique d'une fenêtre axiale à l'étage, portant deux monogrammes et une date : ""FPM/ALM/ANNO/1760"". Le M des deux monogrammes serait peut-être à relier au nom de Morteaux. Tous les éléments constituant l'ensemble actuel formé par le château, les deux pavillons (logement du régisseur et écurie) ainsi que la ferme en contrebas à l'est, sont présents à l'identique sur le plan du cadastre napoléonien de 1812. Le linteau de l'ancienne maison de régisseur porte la date : 1803. La ferme en contrebas était appelée ""Le Castelot"" ou bien ""maison du jardinier"". L'ancien potager a disparu. Au cours du 19e siècle, le château a appartenu à la famille Passerieux, puis par héritage à la famille Baboulet. Au début du 20e siècle, la famille Baboulet détenait avec le château, onze fermes des environs. L'étendue du foncier était très importante, et l'ensemble constituait l'un des plus grands domaines agricoles du territoire appaméen. Le château était encore habité en 1920 lorsqu'il a été détruit par un incendie. On remarquait à cette époque, attenant au château, les restes d'un four banal. L'édifice vient d'être acquis par la famille Bordenave qui s'était rendue précédemment propriétaire des dépendances.