Au début du 17e siècle, le royaume est en plein renouveau du culte catholique. A Villefranche-de-Rouergue, deux confréries de pénitents sont fondées en 1609, celle des pénitents bleus le 15 mars et celle des pénitents noirs le 17 juin. La confrérie est à ses débuts constituée de prêtres, de religieux et de laïcs issus pour la plupart de la noblesse de robe : hommes de lois, notaires, personnel du présidial. 60 membres garnissent les rangs de cette confrérie en 1609. Le nombre de membres s'étoffe au fil des ans et des dignitaires de premiers rangs sont admis tel que l'évêque de Rodez. Les femmes sont admises en 1682. Faute de ressources financières suffisantes, les membres se réunissent les premières années dans la chapelle de la confrérie de Saint-Jacques.£En 1636, Jean-Louis de Garibal, conseiller du roi, fait don à la confrérie de maisons qu'il possédait dans le quartier dit de la gache du puech (le quartier nord-ouest de la ville). En 1641, le prieur Antoine de Chabert suggère qu'une chapelle soit édifiée sur l'emplacement des biens donnés par de Garibal. Des contacts sont noués avec l'architecte poitevin Pierre Didry et le 1er janvier 1642, l'évêque de Rodez, Bernardin de Corneilhan, autorise l'édification d'une chapelle. Des souscriptions auprès des confrères sont lancées mais les fonds peinent à être collectés. L'architecte Didry décède avant la fin des travaux. L'architecte Foulé lui succède et assure la supervision de la fin du chantier. Il reçoit 600 livres pour la voûte et le clocher. La charpente est réalisée par les maîtres charpentiers Calouffet, Guilfrey, de Marciel et Espinasson. L'ouvrage dure une année et les charpentiers sont payés 12 sous par jour, le manoeuvre connu sous le nom du ""fils de charlot"" était payé quant à lui 10 sous la journée. Le bois utilisé pour la charpente a été offert par des membres et par l'abbaye voisine de Loc Dieu. Les couvreurs utilisent 20 charrettes de tuiles et une énorme quantité de plomb. A ce jour, la chapelle est couverte en ardoise. La construction coûte plus de 4500 livres. La chapelle est bénie le 27 mai 1671 par l'évêque d'Agde, Louis Fouquet, qui vivait en exil à Villefranche-de-Rouergue (Cabrol, 1860, t. II, p. 442) suite à la disgrâce de son frère. Tout au long du 18e siècle, les confrères auront à coeur d'embellir la chapelle en commandant un prestigieux mobilier.