Pendant près de 40 ans, l'École normale de garçons occupe des locaux inadaptés en différents lieux de la ville. En 1872, un terrain situé dans les jardins en terrasses de l'ancien couvent médiéval Saint-Sauveur est acquis pour la construction d'un bâtiment neuf de deux étages carrés, inauguré en 1874. Le déplacement de l'École est plusieurs fois envisagé mais le bâtiment existant est réaménagé. La chapelle est transformée en salle de dessin en 1883. En 1911-1912, les trois corps de bâtiment en U sont surélevés d'un étage, faisant disparaître la tourelle-observatoire d'origine. Entre octobre 1941 et octobre 1953, le bâtiment est annexé par le collège de jeunes filles installé dans les anciens locaux du couvent Saint-Sauveur. Au 20e siècle, diverses institutions occupent les locaux : vers 1970, le Centre Départemental de Documentation Pédagogique, puis, en mai 1992, le Comité Sportif Départemental. Un projet de restructuration du Collège Jean Moulin est en cours d'exécution. Il prévoit la récupération des locaux de l'ancienne École normale pour l'installation du restaurant du collège.