Les Carmes s'installent à Lectoure à la fin du 12e siècle, hors des remparts, près de Fontélie. Au 15e siècle, le comte Jean V aurait fait démolir leur couvent parce qu'il gênait le tir de l'artillerie. Les Carmes implantent leur second couvent à l'intérieur des remparts, dans la seconde moitié du 15e siècle. En 1695 le couvent comptait six religieux. Il est vendu comme bien national le 30 avril 1791. L'église devient celle de la paroisse du Saint-Esprit et les bâtiments conventuels sont transformés en école. Les Frères des Ecoles Chrétiennes s'y installent sous le Second Empire. Ils sont remplacés par un prêtre séculier en 1906, l'Abbé Tournier qui ouvrit l'école primaire Saint-Joseph. L'activité de cet établissement s'étend à l'enseignement secondaire de 1936 à 1966. Les bâtiments conventuels abritant l'école sont dénaturés dans la seconde moitié du 20e siècle, époque à laquelle on construit l'aile sud.