A la fin du 17e siècle, Caussade accueille des religieux de l'ordre des Récollets chargés d'instruire les garçons pauvres. Provisoirement implantés en 1682, dans la gâche d'Estivenque (au sud de l'église Notre-Dame), ils établissent deux ans plus tard à l'emplacement que l'on connait aujourd'hui, un couvent pour se recueillir, pour instruire mais aussi convertir ceux de la religion Réformée. L'immense enclos est bâti, comme il est d'usage, en périphérie de la vieille ville. Il comprend trois corps de bâtiments organisés en U autour d'une cour. Dans la partie à l'ouest bordant la rue Raymond Duclos (ancienne ruelle des Récollets) se trouve l'église des Récollets. Au milieu du 18e siècle, l'église compte au moins une chapelle dédiée à Saint-François et une autre à Notre-Dame (ADTG, H 170). Les sources anciennes concernant les Récollets de Caussade ont disparu, seules les Archives départementales conservent encore quelques documents. Peu de vestiges en élévation nous sont également parvenus car les bâtiments ont connu de nombreux remaniements aux 19e et 20e siècles. Toutefois, les deux ailes du cloître en brique, les trois arcades en calcaire de l'église, une partie des maçonneries des ailes nord et est font partie du couvent originel. Les constructions semblent s'étaler dans le temps puisque d'après Firmin Galabert et Louis Boscus, elles ne sont achevées qu'en 1769. L'analyse du bâti est difficile tant les éléments stylistiques datants sont rares.£Les religieux enseignent dans leur collège jusqu'à la Révolution. En 1791, le collège ferme et le couvent, l'église, l'avant-cour et le jardin sont vendus 15 800 livres à la municipalité qui converti les constructions en bâtiments publics (Galabert, Boscus, 1908). Au début du 19e siècle, ils servent essentiellement d'école (aile occidentale) et de gendarmerie (aile orientale). Les deux institutions comportent chacune un jardin clôturé. Au milieu du 19e siècle, la gendarmerie comprenant les logements des gendarmes, les écuries, une sellerie, un magasin à fourrage, une cave et un portail sur l'actuelle rue des Récollets (ancien chemin de grande communication n°17 de Caussade à Figeac ou chemin de Caussade à Monteils) nécessitent quelques réparations (ADTG, O 121).£A la fin du 19e siècle, une école catholique et une école protestante occupent manifestement les vastes locaux de l'ancienne gendarmerie (ADTG, O 124) avec chacune leur cour. Les rez-de-chaussée sont destinés aux classes, les étages aux logements des instituteurs. Leurs jardins sont aménagés au sud. Quant à l'immense jardin de l'ancienne gendarmerie, il est destiné à accueillir un marché aux chevaux. La création de ce marché entraine dans les années 1890 d'autres travaux conséquents. La ruelle des Récollets est agrandie, une partie des bâtiments du couvent (notamment l'ancienne église) est démolie et la justice de paix s'y installe (ADTG, O 125). Un corps de garde, une remise pour les pompes à incendie et une salle de conférence sont également construits derrière le chevet de l'ancienne église. La clé de l'arc en plein-cintre de la porte d'entrée sur l'actuelle ruelle des Récollets porte la date "1891" de sa construction. En rez-de-chaussée, le local sert à remiser les voitures et les camions de l'administration communale et l'étage est réservé à une salle pouvant servir aux sociétés musicales de la ville et pour toute réunion ou conférence. Le devis daté du 31 janvier 1890 stipule que "Par suite de la démolition des constructions longeant la rue des Récollets, l'arceau d'une des chapelles sera mis à découvert et formera comme une grande baie dans le mur de l'ancienne église. Le vide de cette ouverture devra être comblé d'urgence par un mur de 0.90 cm maçonné en moellon ordinaire avec mortier de sable et chaux hydraulique" (devis de Hugues Momméja, 31 janvier 1890, ADTG, O 125). Cet arceau ou arcade en arc brisé est encore visible actuellement ainsi que sa voisine.£Au début du 20e siècle, les bâtiments des Récollets abritent une salle de répétitions, un local pour les pompes à incendie, un théâtre, une justice de paix, une école, un poste de police (2 O 1482). Aujourd'hui encore, même si les écoles et le poste de police ont quitté les lieux, cet édifice communal reste multifonctionnel. Les murets qui jadis clôturaient le vaste espace du couvent puis de l'école et de la gendarmerie ont tous disparu. L'esplanade située au sud du cloître, baptisée "le Carré des chapeliers" en 2012, en raison des noms de chapeliers gravés sur le pavement, rappelle l'industrie chapelière florissante de Caussade à la Belle Epoque. L'histoire du couvent est, elle, rappelée par la présence du cloître, des arcades de l'ancienne église, la monumentalité d'origine des trois corps de bâtiments formant un U et aussi par le nom de la rue, "rue des Récollets", qui borde l'aile nord et par la dénomination elle-même de ce vaste édifice public encore nommé : "les Récollets".