En 1846, les Pères des Sacrés-Coeurs de Picpus achètent le château Renaissance de Graves afin d'y établir une maison de formation religieuse dotée d'un pensionnat. Quelques années plus tard, la congrégation fait construire une chapelle, sous la direction du Frère Agapit Policey, ss.cc. La première pierre est posée le 8 décembre 1876, et la chapelle est bénite par l'évêque de Rodez Mgr Bourret, le 2 juin 1879. En 1850, le pensionnat se transforme en collège secondaire, puis devient en janvier 1870 un petit séminaire du diocèse de Rodez. La fermeture des écoles tenues par les religieux entraîne, en 1903, le départ des Pères. Quelques mois plus tard, en 1908 le château est racheté par Alfred Cibiel qui en fait don à l'Evêché de Rodez. Le collège est alors repris par des pères du diocèse de Rodez qui en assurent la gestion jusqu'en 1946, date à laquelle les Pères de Picpus reprennent les commandes de l'établissement. Installée dans l'entrée de la chapelle du château de Graves, sur le mur nord, le panneau commémoratif rend hommage aux anciens élèves et professeurs de l'établissement qui sont morts au cours de la Première et de la Seconde Guerre mondiale.