L'hôtel dans lequel se sont installées les Mirepoises dans la seconde moitié du 18e siècle avait regroupé plusieurs bâtiments médiévaux. Le corps de bâtiment oriental, qui borde la rue des Mirepoises, est celui d'une grande demeure qu'il faut sans doute dater du début du 14e siècle. L'édifice a été restructuré au 16e siècle avec la construction de deux niveaux de galeries sur cour, Les grandes croisées de la façade sur la rue des Mirepoises, l'escalier à volées droites et le plafond à caissons d'une salle du rez-de-chaussée appartiennent à une importante campagne de travaux du 17e siècle.
L'édifice servait déjà de collège quand les Mirepoises s'y installèrent en 1746 (H. Ramet, 1920, p. 241). L'établissement a été repris par les Soeurs grises au 19e siècle puis est devenu école supérieure. En 1977, l'édifice est vacant, en attente d'une restauration (J. Pardinel).
