Le bourg de Fons naît et se développe autour d'un monastère bénédictin fondé en 972, aujourd'hui disparu. L'enclos monastique comprenait le monastère, dont les bâtiments actuels datent des 17e et 18e siècles, l'église dite Notre-Dame-des-Artels, un «donjon abbatial» et une maison communicante avec le monastère, réputée avoir été la «maison du prieur», un cimetière ainsi qu'une prison, aujourd'hui disparus.

Après sécularisation de l'abbaye de Figeac en 1536 dont dépendait le monastère de Fons, il reste soumis à la règle bénédictine et à l'ordre de Cluny. Il compte à partir du 16e siècle entre 6 et 24 moines qui y demeurent jusqu'à la vente des bâtiments en 1787.

En 1845, la Congrégation de la Sainte Famille installe dans les anciens bâtiments monastiques un établissement pour enfants handicapés. Aujourd'hui, l'Institut Médico-Éducatif « Les Roitelets » poursuit une mission d'accueil d'enfants et adolescents atteints de handicaps.

L'église de cet ancien prieuré bénédictin a été rebâtie en 1760. La fenêtre ouest de la chapelle attenante au flanc nord de l'édifice a recueilli pendant l'entre-deux-guerres un intéressant exemplaire de vitraux civils de la Renaissance. L'écu des Prudhomme compris dans l'un des panneaux indique qu'ils proviennent du château du Roc situé sur la commune, propriété de cette famille de la fin du XVe siècle au début du XIXe. Jean Lafond avait observé vers 1920 dans l'escalier de ce château des « bordures de grotesques » semble-t-il distinctes des éléments aujourd'hui conservés à l'église, et apprit vers 1960 que ces vitraux avaient été vendus peu après sa première visite (Lafond, Notes).