Avant même la fondation de la ville en 1252, le site du calvaire abrite un foyer de peuplement. Edifiée vers 1050, la chapelle d'abord dédiée à saint Carpil prend le vocable de Saint-Jean vers 1275. Cet édifice fonctionne comme église paroissiale jusqu'au 14e siècle (1301 pour certains auteurs). Ensuite, la chapelle devient annexe de la collégiale. Le chevet est la partie la plus ancienne et semble dater du 11e siècle. La nef et le transept semblent, quant à eux, dater du début du 14e siècle. La plupart des baies du choeur semble avoir été remaniées. A la suite d'un terrible orage survenu en juillet 1594, les voûtes de la nef sont refaites.
En raison des épidémies, le culte à saint Jean Baptiste est renouvelé dans l'église Saint-Jean d'Aigremont, "annexe de l'église collégiale", en 1712 ; pourtant, trois ans plus tard, l'église est dite "abandonnée et déserte, exposée tous les jours au pillage"" et elle est cédée au frère Célestin Lacombe, ermite ""de Mauriac, pour y faire son habitation et ses exercices de piété"" 'Cabrol, 1860, t. II, p. 608, 643-644), Le 23 novembre 1726, une pierre de la voûte s'effondre et le clocher menace de ruine en 1727. Le clocher "en forme de tour carrée", est démoli par les paroissiens le 24 mars 1727, et remplacé par un clocher plus simple ; les cloches sont remontées le 9 mai, et l'office est célébré à nouveau à compter du 18 mai 1727 (Cabrol, 1860, t. II, p. 764-765). En 1856, l'édifice est érigé en succursale. Le dallage fut refait en 1781. Au lendemain de la Révolution, la chapelle et ses annexes sont vendues comme bien national. Deux confrères, Vincent Bals et François Cazes, l'achètent pour permettre la survie de la confrérie qui sera relancée en 1805, date à laquelle l'édifice est revendu à un autre confrère, Jean-Joseph Dufau.
La confrérie s'arrête au moment des lois de séparation entre l'Eglise et l'Etat mais le bien reste propriété d'une famille de confrère qui fait le choix d'en faire don à l'association diocésaine de l'Aveyron en 1964. Cette dernière confie l'édifice et son mobilier à la commune de Villefranche-de-Rouergue par bail emphytéotique de 99 ans en 1976.
Des fouilles archéologiques conduites en 1928 et en 1972 ont mis au jour, contre le mur nord de la chapelle des sépultures et des vestiges datant de l'époque gallo-romaine et des sarcophages du haut Moyen Âge. Lors de travaux conduits pour la restauration de l'édifice en 1994, deux colonnettes préromanes ont été mises au jour dans le choeur.
