En rapportant la découverte des « images » miraculeuses faite sur le site où serait bientôt élevée la chapelle Notre-Dame, l’auteur des Annales de Villefranche, Etienne Cabrol (1654-1742), évoque la « tradition » selon laquelle on y trouva treize statues de pierre représentant la Vierge et les apôtres, qui seraient à l’origine du nom du lieu. (La chronologie donnée par E. Cabrol prêtant à confusion, nous en proposons une interprétation logique.) Les fidèles y viennent en nombre et leurs offrandes conduisent les consuls valide bâtir, après enquête diligentée en avril 1509 et autorisation de l’évêque, une chapelle dont la première pierre est posée le 24 août 1509 : les travaux sont confiés au maçon Huc Neulat, dit Gaujot. Après avoir cassé la bénédiction faite par l’abbé de Loc-Dieu, l’évêque bénit la chapelle dédiée à Notre-Dame le 1er juin 1510 (Cabrol, 1860, t. I, p. 538-541). Il semble que les travaux se poursuivent encore en 1514, puisque les revenus des offrandes y sont encore affectés ; en 1516, la construction d’une tribune est confiée à Huc Parrial, dit Germay, et en 1523, le syndic du chapitre de la collégiale commande à un sculpteur de refaire « un bras neuf » à la statue (?) de saint Claude et une épée à celle de sainte Catherine (Cabrol, 1860, t. I, p. 553, 560, 583). Les vitres « peintes » de la chapelle sont brisées par la grêle en 1545 (Cabrol, 1860, t. p. 625).£Après le saccage par les protestants en 1561, la chapelle est en grand danger d’être ruinée en 1585, en raison du mauvais état de la couverture, à la réparation de laquelle les consuls acceptent de participer ; en 1597, c’est au tour de la cloche qui avait été enlevée par les protestants d’être remise en place par le charpentier Jean Vidal (Cabrol, 1860, t. II, p. 80, 83, 151).£Pour se placer sous la protection de la Vierge lors de l’épidémie de peste de 1628, la communauté de Villefranche fait le vœu le 31 mai, entre autres, d’agrandir la chapelle de Notre-Dame des Treize-Pierres et d’y ajouter deux chapelles dédiées l’une à saint Roch, l’autre à saint Joseph ; les contrat sont passés avec les charpentiers Guillaume Plainecassagne, Pierre Marmiesse, Jean Testas et Pierre Plainecassagne, et les maçons Jean Magrin et Jean Atguié les 31 mai et 6 juin : les arcs et les encadrements des baies seront en pierre de Mauriac (Cabrol, 1860, t. II, p. 269, 270, 271-272). Les travaux sont commencés en 1629, contrat ayant été passé le 19 janvier avec le maçon Antoine Giberges pour « faire et parfaire » le grand portail de l’église ; le 10 juillet, un nouveau contrat précise les travaux à réaliser et y ajoute la démolition de la tribune et sa reconstruction ; le 16 août le Saint-Sacrement est exposé pour la première fois dans l’église (Cabrol, 1860, t. II, p. 276-278). Les travaux sont achevés en 1630 et les nouveaux autels bénis le 11 août (Cabrol, 1860, t. II, p. 281-282). Le 16 août 1631, un nouveau bail à prix fait est passé avec Antoine Giberges pour « paver de neuf et à niveau » en pierre de Mauriac l’ensemble de l’église (Cabrol, 1860, t. II, p. 293).£Des prêtres de la congrégation de Sainte-Marie de la Visitation sont installés dans l’église Notre-Dame des Treize-Pierres en 1637, et le chanoine Raymond Bonal, à l’origine de leur installation, passe contrat avec les maçons Jean Atguié, dit Laroche, et Segons le 12 juin 1638, pour construire un logement au-dessus de la nef et démolir le clocher pour le refaire à un endroit plus commode : le logement est finalement construit sur un terrain joignant l’église, donné à la communauté (Cabrol, 1860, t. II, p. 314, 326). L’église est cédée en 1647 à la congrégation de Sainte-Marie pour y établir le séminaire de Basse-Marche du diocèse, dont la création est confirmée par l’évêque l’année suivante (Cabrol, 1860, t. II, p. 370, 371). Selon l’Etat de la France… (1727), le pèlerinage est « assez fréquenté » au début du 18e siècle.£La chapelle est vendue comme bien national en 1793. Vers 1838, l’église est en mauvais état : « la charpente s’écroule, les voûtes s’affaissent » (L. Guidondet, 1837-1838) ; vers 1864, elle est dite en ruines, et sert alors de grange (Dictionnaire des communes…, 1864). Les clercs de Saint-Viateur, une congrégation d’enseignants approuvée par le pape en 1838, s’y installent en 1867.£L’intérieur a été entièrement peint par Nicolas Greschny en 1951-1952.£L'édifice conserve des parties attribuables aux travaux du début du 16e siècle et le portail commandé en 1629 à Antoine Giberges.