La baie géminée conservée témoigne de l'existence dès le 13e siècle de la "borie" de Camy, dont la seigneurie était placée sous la suzeraineté de l'évêque de Cahors. La documentation antérieure au 17e siècle fait cependant défaut ou bien demanderait à être vérifiée. Au milieu du 15e siècle, Bernard del Pech possède une borie noble et des cens dans la paroisse de Camy, qu'il vend à Antoine del Ort, de Cahors, lequel les revend en 1482 à noble Guillaume del Coderc, seigneur de Caïx (J. Lartigaut, 1991). Les Lacombe seraient seigneurs de Camy à partir de 1551 (Clary, 1986). Par le remariage, en 1600, de Jacquette de Ricard de Gourdon, veuve de Jean II de Luzech, les biens des barons de Luzech passent aux Chapt de Rastignac : à une date indéterminée, Camy devient leur lieu de résidence secondaire en remplacement du château de Luzech, depuis longtemps ruiné (C. Didon, 1996). Dans la seconde moitié du 18e siècle, la carte de Cassini figure un château à Camy. Le "château de Cami" est vendu, parmi d'autres biens, en 1841 par le duc de La Rochefoucauld-Liancourt, héritier de Pierre-Jean-Julie Chapt, marquis de Rastignac (J. Bessières, 1873), puis il connaît différents propriétaires et il est divisé en deux parties (C. Didon, 1996). Pour sa plus grande part, l'état actuel de l'édifice semble appartenir au 19e siècle.