Le 10 juillet 1543, Cécile d'Ayrac et ses deux fils vendent la métairie de Graves à Jean Imbert d'Ardennes, pour le prix de 1300 livres. L'acheteur est un bourgeois de Villefranche qui tire sa fortune de l'exploitation des gisements de minerai de cuivre ; il épouse Marguerite de Chalret, soeur de Matthieu de Chalret, président au Parlement de Toulouse, et devient premier consul de Villefranche en 1550. Le château est probablement construit peu après l'achat puisqu'en 1553, il s'agit d'y faire quelques réparations et d'achever les travaux, suspendus pour une raison inconnue : le contrat est passé avec Guillaume Lissorgues, maître maçon, qui devra faire une grand portail à l'antique pour l'entrée. R. Laurière suppose cependant que la tour nord-ouest est celle de la métairie construite par Raymond Calmette en 1468. Le château est pris par les protestants en 1562 (Cabrol, 1860, p. 13), et en 1581 Jean Imbert d'Ardennes y est fait prisonnié et emmené à Cajarc (Cabrol, 1860, p. 69). En 1616, le château passe aux Pomairols qui le conservent jusqu'en 1846, date à laquelle les Frères picpusiens l'achètent pour y établir un noviciat de missionnaires.£De grands bâtiments du 19e siècle flanquent le château.£Les façades sur cour et la cheminée de la grande salle du rez-de-chaussée sont inscrits à l'inventaire supplémentaire des Monuments historiques le 12 octobre 1942 (R. Laurière, p. 20).