Le pigeonnier date vraisemblablement du 18e siècle, et a connu des modifications au cours des 19e ou 20e siècle ayant notamment tronqué la toiture. Il présente une pierre en remploi de la fin du 15e ou début du 16e siècle, et des graffitis portant la date 1777. En mauvais état, il a probablement vu sa toiture supprimée pour lui donner cette allure de "pied de mulet". Il était déjà décrit en 1788 comme une "ruine" par la famille Cayla, alors propriétaire de l'édifice. Il est possible qu'il ait fait partie de biens d'église rachetés par un riche maréchal-ferrant de Saint-Cirq-Lapopie, Louis Cayla.
Il a été restauré en 2013-2014.
