Le corps de bâtiment principal cadastré BA 134, est à l’origine une grande maison bourgeoise remaniée dans le courant du 19e siècle, par la fusion de deux parcelles d’habitation. Celles-ci sont visibles sur le cadastre de 1807 (E 521 et E 523), au côté de plusieurs cours, elles même fractionnées dans le temps. Un grand jardin cadastré E 522 jouxtait par ailleurs les cours.
Dans la seconde moitié du 20e siècle, l’édifice est donné à une communauté religieuse de bonnes sœurs et prend le nom de pensionnat Saint-Joseph, afin d’assurer l’instruction scolaire. Le pensionnat se trouvait à l’origine au niveau de la rue des Pyrénées, dans un édifice occupé dès 1855 par les religieuses du Saint Sacrement. Ces dernières assuraient l’enseignement pour les filles, tandis que celui des garçons par les Frères des écoles chrétiennes. Après avoir été repris par les sœurs dominicaines d’Albi (1958), le pensionnat est implanté en bordure de la rue de l’Agriculture. Cette translation fut possible en 1965, grâce à la donation d’un terrain appartenant à une grande famille pradéenne appelée de Lacroix, ainsi « qu’au produit de la vente de l’ancien presbytère situé rue du Palais de Justice » [CAMPS, CASTEX, Novembre 2021, p.p. 69 et 70]. En 1968, l’enseignement est élargi aux garçons et regroupe les écoles maternelle et primaire, ainsi que le collège. Les deux ailes latérales (BA 112) sont alors construites [BLAIZE, D’ARTHUYS, PONSAILLÉ TOSTI, 1992, p.46].
L’ensemble scolaire Saint-Joseph est transféré vers 1994 dans un nouveau bâtiment construit à l’entrée de ville Nord. Celui-ci se compose actuellement d’une école primaire, d’un collège et d’un internat.
Quant à l’ancien pensionnat, il est racheté par la Ville pour un montant de 500.000 francs, afin d’aménager la bibliothèque municipale Pompeu Fabra [CAMPS, CASTEX, Novembre 2021, p. 71]. Les locaux vacants sont réutilisés pour l’école catalane La Bressola, à partir de Septembre 1990 (municipalité de Paul Blanc).
Les travaux de la nouvelle bibliothèque réalisés entre 1998 et 2000, ont été confiés à l’architecte Marcel Perie. Ils ont dans un premier temps consisté à détruire des cloisons intérieures, à reprendre les toitures et à supprimer le préau ainsi que l’escalier latéral qui conduisait à la chapelle du pensionnat. Un nouvel escalier tournant avec palier de repos éclairé par un puits de lumière et un ascenseur sont construits.
Par ailleurs, le rez-de-chaussée de l’aile Est, comprend depuis 2000 le club des aînés ruraux.
Suite à une restructuration des bâtiments municipaux de la ville réalisée entre 2003 et 2004, le rez-de-chaussée surélevé de l’habitation bourgeoise abrite les bureaux du Festivals Pablo Casals. De plus, le « musée Casals » a été transféré dans une pièce, au sein de bibliothèque. Avec la création de la Communauté de communes Conflent Canigó le 1er janvier 2015, l’établissement devient médiathèque intercommunale de Prades. Par ailleurs, l’angle Sud-Est de la maison de Lacroix, abrite depuis 2000 le fonds patrimonial de l’archéologue Anny de Pous.