Edmond Albe (op. cit.) a pu établir que Lavergne était un prieuré dépendant de Védrennes (commune d'Egletons, en Corrèze), prieuré de l'abbaye bénédictine de La Chaise-Dieu (Haute-Loire), avant de dépendre au 17e siècle de l'abbaye de La Couronne et des chanoines réguliers de saint Augustin de Cahors. Des noms de prieurs sont connus à partir de 1314 et la mention du "sol du cloître" qui apparaît dans la documentation laisse penser qu'il s'agissait d'un prieuré conventuel. Les Valon, seigneurs du lieu, donnèrent sans doute les terres qui permirent la création du prieuré, sur la paroisse qui était rattachée à la mense de l'archiprêtre de Thégra, et Edmond Albe supposait que l'église pouvait être due à Bernard de Valon, abbé de La Chaise-Dieu vers la fin du 12e siècle.

Le décor du portail s'inspire de celui du portail nord de la cathédrale de Cahors, daté vers 1150, mais il faut probablement situer la construction de l'église dans le dernier quart du 12e siècle. D'importants travaux ont été réalisés à la fin du 19e siècle (V. Rousset, op. cit.). Après un projet demandé à l'architecte Emile Toulouse en 1883, qui n'est pas réalisé, c'est l'architecte de l'arrondissement de Gourdon, A. Darnis, qui conduit les travaux. La nef, qui était charpentée, est couverte d'une fausse voûte en plein cintre et des contreforts sont ajoutés au nord et au sud, de nouvelles fenêtres sont créées, la chapelle nord est reconstruite et une chapelle symétrique est bâtie au sud ; jugé trop étroit, l'arc triomphal est rebâti, et les sépultures des Valon, qui se trouvaient dans le choeur, disparaissent. La date de 1886 est inscrite sur la sacristie.