Avec le développement de l’école publique gratuite et laïque à la fin du 19e siècle, l’école supérieure des filles ouvre en 1909, dans un bâtiment tout juste construit sur un terrain privé acquis par la municipalité en 1907 [BLAIZE, D’ARTHUYS, PONSAILLÉ TOSTI, 1992, p.40]. Dans les années 1930, l’école supérieure est translatée au petit séminaire, tandis que les locaux de l’école initiale sont repris pour accueillir le collège Moderne de garçons ou collège « Pasteur » [BLAIZE, D’ARTHUYS, PONSAILLÉ TOSTI, 1992, p.p.38 et 40]. Ce dernier bénéficie en 1945 de travaux de réfection du second niveau de la façade Nord, portés par l’Ingénieur Municipal de Prades et effectués pour un montant porté à 48.000 francs. Les travaux ont consisté au piquage des vieux enduits et à la confection de nouveaux à trois couches ; une au mortier de ciment et deux couches au mortier de chaux et ciment, dont la dernière est lissée puis sciottée [A.D.66 : 123 EDt 166].
L’édifice a également abrité une école maternelle, qui comptait deux classes vers 1940. Le manque de salles de classes conduit la municipalité à en ouvrir plusieurs dans les autres établissements scolaires, en attendant de pouvoir construire un bâtiment dédié. L’école maternelle « Arago » jouxtant au Sud le bâtiment principal, fut donc édifiée entre 1999 et 2000 [CAMPS, CASTEX, Novembre 2021, p.p. 45-47].
À la suite de l’inauguration du lycée Charles Renouvier en 1967, le petit séminaire abrita l’ensemble des collégiens [CAMPS, CASTEX, Novembre 2021, p.58]. Plusieurs affectations vont être données au bâtiment « Pasteur », dont le club de judo de la Ville, la perception fiscale, les services sociaux départementaux en 1999, le centre de loisirs maternel et primaire en 2006, ainsi que le centre communal d’action sociale en 2008. Ce dernier occupe toujours le bâtiment, au côté des centres de loisirs (rez-de-chaussée) et des services de l’Éducation nationale (CIO) [CAMPS, CASTEX, Novembre 2021, p.58].
