En 1679, le prieur Dom Jacques Hody demande l'autorisation d'ouvrir un séminaire ou collège pour fils de gentilshommes ou d'officiers de qualité mais peu fortunés (N. Pousthomis-Dalle, 1998, p. 6). Avant même l'approbation par le Chapitre général en 1681, Dom Hody pose la première pierre du bâtiment le 7 mai 1680. Il est inauguré par son successeur Dom Michel Meaux le 12 octobre 1682. Flanqué de deux tours dont celle du sud-ouest abrite une annexe voûtée, il comprenait une chapelle, une décharge et une dépense, la cuisine, le réfectoire et trois classes, que desservaient un couloir (N. Pousthomis-Dalle, 1998, p. 20). L'étage était occupé par un grand dortoir, deux chambres d'infirmerie et le cabinet du Directeur. Le percement de trois baies centrales en arc plein cintre à la fin du 18e siècle permet d'harmoniser la façade avec les trois autres autour de la cour dite des Rouges. Au 19e siècle, le rez-de-chaussée est occupé par les salles de réfectoire de l'école, au nombre de sept dans un premier temps puis de cinq (N. Pousthomis-Dalle, 1998, p. 20). La distribution est toujours assurée par un couloir situé à l'est dont le carrelage est refait vers 1878 (N. Pousthomis-Dalle, 1999, p. 20). Le dortoir se trouve à l'étage. Après la fermeture de l'école intervenue en 1991, l'ancien séminaire a été affecté en salles de restaurant.