L'église Saint-Pierre-de-Milhac est construite sur les ruines d'un très important site antique. Situé sur la route principale menant de l'Albigeois vers Cahors, Milhac est mentionné dès le milieu du 7e siècle. L'église actuelle est une reconstruction du 17e siècle très largement remaniée à la fin du 19e siècle. Les maçonneries anciennes sont uniquement perceptibles sur le mur extérieur oriental de l'église (côté cimetière). A l'intérieur, les reconstructions de 1888 masquent toute lisibilité de l'antériorité. Les murs ont été surélévés pour construire une voûte d'ogive et un choeur à cinq pans a été ajouté au nord (l'église n'est pas orientée). Les chapelles latérales ont vraisemblablement été reconstruites en 1896, comme l'indique les plans et devis conservés aux Archives départementales. Le presbytère était à cette époque adossé au mur ouest de l'église. Le bâtiment en longueur qui figure sur le plan de 1830 à l'ouest de l'église est une remise du presbytère. D'après des plans de 1896, il abritait le dépôt du mobilier du culte, une buanderie, une écurie, et une étable. Le bâtiment a disparu.