Le 24 janvier 1558, sur demande de Monseigneur Robert de Pellevé, ordinaire du lieu, le légat du Pape accorde des lettres patentes portant établissement d'un collège de Jésuites à Pamiers. Les Jésuites fondent ici en 1559, le second collège en France après celui de Billon, en Auvergne. Les trois Pères Jésuites s'installent au coeur de la ville, à proximité de la cathédrale en procédant à l'acquisition d'une maison particulière dite de Cadeillac. L'enseignement secondaire est alors en quête d'un nouveau souffle après une période de déshérence. Au cours des 17e et 18e siècles, la prospérité du collège démontre l'insuffisance du bâtiment premier, la propriété s'accroît par achats ou donations des immeubles voisins. Les ressources du collège proviennent de rentes agricoles (vignes, ferme) et de l'évêché, du chapitre et de la ville. L'évêque de Verthamon lui cède également son importante bibliothèque ainsi que des subsides pour la construction d'une chapelle. De 1702 à 1719, une chapelle massive et majestueuse est construite à l'angle des actuelles rues Blanche et Charles De Gaulle. Sur un plan en croix latine avec un chevet plat, elle comporte un décor de façade caractéristique des églises des jésuites du 18e siècle. A partir de 1761, l'ordre des jésuites est critiqué en France et il est dissout par le pape en 1773. En 1762 les biens des jésuites de Pamiers sont saisis et en 1763, ils sont expulsés.Ainsi le 26 décembre 1765, le collège devient royal, il est administré par un bureau composé de l'évêque en tant que président, 2 officiers présidial, 2 consuls et 2 notables. Les jésuites reviennent en France après la Révolution. En 1878 une partie de l'étage de la chapelle est réaménagée en salle de classe. En 1881, la ville prend définitivement à sa charge la gestion économique de son collège. Différents travaux de réhabilitation sont entrepris et suivis par l'architecte Pierre Izac. En 1921, l'église du collège fait l'objet d'un projet d'aménagement en salle de théâtre municipal. Au milieu du 20e siècle, le bâti primitif du collège nécessite de nombreux travaux. En juin 1953, après qu'un projet de reconstruction d'un collège de garçons au lieu-dit La Gloriette ait été annulé, il est décidé de reconstruire en grande partie l'ensemble. La reconstruction s'est étalée de 1960 à 1969, l'intégralité de l'îlot a été démolie et reconstruite hormis la tour de l'escalier qui menait à l'infirmerie du collège, actuelle "" Tour de la Monnaie "" qui flanquait un bâtiment plus ancien du 15e siècle et la chapelle qui a été réaménagée en centre culturel et gymnase. Le collège prend le nom de C.E.S Joseph Rambaud (1879-1944), maire de Pamiers (1919-1943), conseiller général, sénateur de l'Ariège, mort pour la France, déporté en Allemagne.