Dans la charte de fondation de l’abbaye de Planselves de 1142, Gérault du Brouilh offre à l’abbaye cistercienne les biens de Cahuzac (Cazauran, 1903, p. 17). Une chapelle est mentionnée à Cahuzac dans la charte de fondation. Il pourrait s’agir de la chapelle Saint-Sauveur, visible sur le plan cadastral de 1832 mais détruite entre 1890 (Cazauran, 1903, p. 150) et 1903.£Avec le développement du pèlerinage autour de Notre-Dame-de-Cahuzac durant le 16e siècle, une résidence des chapelains est construite. Elle aurait été élevée sous l’archiépiscopat de Léonard de Trappes, c’est-à-dire dans le premier quart du 17e siècle, et reliée au mur sud de la chapelle par un portail (Casterède, 1930, p. 48). En 1642, la maison presbytérale située au sud de la chapelle est agrandie (Casterède, 1930, p. 17).£A l’est de la résidence des chapelains, l’ensemble est doté d’une nouvelle aile, dont la fonction est incertaine, dans la seconde moitié du 18e siècle d’après la date de 1766 inscrite au-dessus de l’entrée. Elle est décrite par l’abbé Casterède (1930, p. 34) comme une ancienne auberge seigneuriale appartenant aux chapelains avant la Révolution.£Sous la Révolution, la chapelle ainsi que la résidence des chapelains, les dépendances et le jardin sont achetés par Guillaume Bonnemaison le 23 juin 1796 pour le compte de Jeanne Labedan (Dubord, 1874, p. 536). La résidence est décrite comme une maison « à haut et bas étage », et les dépendances sont composées d’une grange, d’une écurie et d’un hangar (Dubord, 1874, p. 537). Il semble que l’ensemble ait connu plusieurs propriétaires jusqu’en 1821 (Cazauran, 1903, p. 138).£L’arrivée des prêtres missionnaires en 1859 entrainent des modifications. L’ensemble est racheté par le diocèse en 1866 (Cazauran, 1903, p. 147), à l’exception de la chapelle, restée probablement propriété communale. Le bâtiment de 1766 devient un pensionnat tandis que les bâtiments situés entre la résidence des chapelains et le pensionnat sont transformés en parloir et en appartement pour l’archevêque d’Auch (Cazauran, 1903, p. 147). L’entrée de la résidence des chapelains est pourvue en 1869 du portail, situé à l’origine entre la résidence et le mur sud de la chapelle (Casterède, 1930, p. 48). Une aile aurait été ajoutée à l’ouest, le long de la voie ferrée (Casterède, 1930, p. 35) pour créer une maison sacerdotale de retraite. Cependant, l’aile est déjà représentée sur le plan cadastral de 1832. Une esplanade est aménagée à l’est.£Les prêtres Assomptionnistes, présents de 1930 jusque dans les années 1960, installent un petit séminaire (Pujeau, 2012, p. 24). Après leur utilisation comme maison de retraite, l’ancienne résidence des chapelains et les bâtiments annexes sont aujourd’hui inoccupés.