C'est vers 1836 que les Frères des Ecoles chrétiennes s'installent rue de la Liberté. Auparavant, depuis 1818, ils enseignaient dans un local appartenant au couvent des Cordeliers, situé à proximité immédiate du Mandarous. La construction du Palais de Justice, place du Mandarous, en 1837, les a contraints à quitter ces lieux. Il est probable qu'ils sont à l'origine de la construction de l'école actuelle pour laquelle cinq classes sont construites en 1840. L'architecte de la ville, Sahut, est ensuite chargé d'édifier d'autres classes entre 1859 et 1864, d'exhausser l'ensemble en 1875 et d'effectuer des aménagements en 1888. Entre temps, en 1875, l'école a été laïcisée et les frères des Ecoles chrétiennes se sont installés boulevard de l'Ayrolle puis, en 1882, au pensionnat du Sacré Coeur et au monastère des Capucins, situés de l'autre côté de la rue de la Liberté.