Un collège de Doctrinaires est construit sur l'emplacement de l'ancien hôpital du Saint-Esprit au début des années 1630. Il est reconstruit de 1772 à 1774 par Joseph Lapeyre, Jacques Tourné, Samson Tourné et François Ducoumet. Le collège de doctrinaires ferme en 1792 et le collège communal ouvre en 1809. En 1899 la moitié des bâtiments est détruite par un incendie. Entièrement restauré, le collège est cédé à l'Etat le premier janvier 1901. En 1928 les filles sont admises. L'établissement prend le nom de "Maréchal Lannes" en 1943 puis ferme ses portes en 1967 pour être transféré dans des bâtiments modernes élevés sur le plateau de Lamarque. Vers 1980, la conciergerie et le parloir construits sur la rue Nationale après 1824, fermant ainsi la cour, sont détruits lors de l'installation d'une annexe de l'hôpital, situé tout près. Cette annexe, qui a entièrement dénaturé l'intérieur des bâtiments, a fermé en 2006.
Sur le plan cadastral de 1824 on voit le cloître d'origine flanquant le collège à l'est. La chapelle qui figure à l'extrémité sud de l'aile ouest n'existe plus aujourd'hui.
L'étage de soubassement de l'aile principale du bâtiment du 18e siècle pourrait être l'unique vestige du collège d'origine construit dans les années 1630.
