Le Couvent des Capucins est établi au sud-ouest de l'Evêché dans les années 1630. Les bâtiments qui le composent sont construits en plusieurs étapes, sur des vestiges beaucoup plus anciens. Il s'agit d'un édifice des 13e ou 14e siècles ayant pris le nom de ""Maison Sainte-Gemme"" au 15e siècle, devenu propriété des comtes d'Armagnac dans la seconde moitié du 15e siècle. C'est dans cette maison que Jean V d'Armagnac aurait été assassiné le 5 mars 1473. Elle a probablement beaucoup souffert des destructions perpétrées par les armées de Louis XI, toutefois il reste plusieurs élévations percées de fenêtres et de meurtrières. C'est sur ses ruines, utilisant l'ancienne cour intérieure pour établir le cloître, que Marguerite de Pellegrue de Casseneuil fait construire le Couvent de Notre-Dame du Chapelet, fondé en 1575. La galerie à arcades, les portes en plein cintre et les fenêtres chanfreinées en sont des vestiges. C'est peut-être aussi le cas de l'église. Le Couvent des Capucins s'installe dans les murs dans les années 1630 et tout le côté sud est reconstruit au milieu du 18e siècle. Vendu comme bien national à la Révolution, le couvent est ensuite divisé en plusieurs parcelles qui deviennent des habitations. Les bâtiments sont aujourd'hui divisés en six maisons. La ruelle (""carrelot"") qui longeait l'ensemble sur trois côtés est aujourd'hui fermée. Le passage nord est le seul accès car le passage Est a aussi été fermé.