La collégiale de Montpezat a conservé, fait rare, une grande partie du logement des membres du chapitre, désigné sous le terme de collège dans les sources. Il s'agit d'un ensemble quasi unique de maisons canoniales médiévales, qui plus est, rattaché à un chapitre séculier, encore debout dans le Midi. L'analyse du bâti de la collégiale laisse penser qu'un premier projet de dépendances de l'église avait été initialement projeté par le cardinal des Prés, et abandonné par la suite. La présence sur le second pan nord du chevet, entre les deux contreforts, de l'amorce d'une voûte étaye cette hypothèse. Il s'agit d'un passage, voûté en berceau, ménagé entre les contreforts du chevet. Il menait vers un espace non édifié, dont l'abandon répond nécessairement à l'adoption de l'emplacement et du plan actuel du collège des chapelains.
Plusieurs hypothèses peuvent être envisagées quant à la nature de ce dernier espace. Il pourrait s'agir d'une sacristie plus vaste et plus digne que l'actuelle, ou bien d'une salle capitulaire, de forme rectangulaire, à chevet plat ou à pans coupés et composée, comme à la collégiale Saint-Michel de Castelnaudary, de deux travées voûtées d'ogives. Autre option du projet d'origine : une tour qui aurait constitué le pendant du clocher, construite également sur la face nord de la collégiale.
La première mention du collège est datée du 12 septembre 1348, grâce à un achat de maisons par le cardinal Pierre des Prés. Le chanoine qui a analysé les archives en 1626 précise que ces demeures étaient « joignantes ensemble » et leur acquisition rendue « nécessaire pour la construction du collège et commodités de Saint-Martin ». Ces achats étaient destinés à lancer l'édification du logement collectif des chapelains, certainement sur le flanc est de l'église. Les archives du chapitre montrent une reprise des achats de matériaux de construction, après une rupture en 1343, à partir de 1349 jusqu'en 1351. Ainsi, le collège des chapelains de Saint-Martin se serait élevé au nord et à l'est de la collégiale entre ces deux dernières dates.
Les élévations postérieures en maçonnerie de l'aile nord-est et une série de portes chanfreinées couvertes en bâtière ainsi que des jours oblongues chanfreinés visibles en rez-de-chaussée de cette même aile semblent confirmer cette campagne de construction. Le pan de bois de l'étage à grandes croix de Saint-André et poteaux de la maison (AK 626) et le niveau de comble (AK 543) datent vraisemblablement de la seconde moitié du 15e siècle (1485 datation par dendrochronologie). Du 15e au 17e siècles, alors que de nombreux conflits touchent le Quercy, les chanoines entretiennent les bâtiments du collège et renforcent les défenses par la mise en place de hourds et d'échauguettes.
Après les derniers troubles de la Fronde et l'apaisement qui suivit, certains chanoines, parmi les plus aisés, abandonnèrent leurs maisons canoniales au profit de demeures particulières, plus confortables, au sein de la cité. À l'aube de la Révolution, l'ensemble collégial servait encore de logement à certains membres du chapitre, alors même que d'autres ne faisaient qu'y entreposer leurs réserves de vin et de bois.
Les fenêtres à arc segmentaires (élévation postérieure et au deuxième étage du pan de bois), caractéristiques du 18e siècle, ont été percées à cette période. Le 30 juillet 1791, le collège est vendu comme Bien National et les maisons sont donc cédées à des particuliers. Le mur de clôture au nord et les bâtiments accolés contre sont détruits quelques mois plus tard. Après la Révolution, en 1806, la commune acquiert l'ancienne tour du doyenné pour l'affecter au logement du curé de la paroisse. Le doyenné, à nouveau pour défaut d'entretien et présence de fissures inquiétantes tant sur le bâtiment que sur la terrasse qui lui servait à l'est de mur de soutènement, a été démoli à la fin du 19 e siècle. En 1956, les douze maisons restantes sont inscrites (façades et toitures) sur l'Inventaire supplémentaire des Monuments Historiques
