En 1263, Bertrand de Grézels donne des biens qu'il possède dans la paroisse de Cénac à son fils Bernard, qu'il a eu de la fille de Bernard de Guiscard, son épouse (G. Lacoste, 1885). La seigneurie de Cénac, sous la suzeraineté de l'évêque de Cahors, est encore détenue par une branche cadette des Guiscard de Grézels en 1480, date à laquelle elle passe aux Raymond de Folmont, dont l'un des membres, Pierre de Raymond, est sénéchal de Quercy de 1461 à 1479 ; Antoine II de Folmont ayant rejoint le parti protestant, ses biens sont un moment confisqués par l'évêque au profit de Pierre de Massault, seigneur d'Anglars (C. Didon, 1996), lequel ne déclare cependant, en 1504, que trente livres de revenus sur plusieurs paroisses dont Cénac, tenues de l'évêque sans seigneurie (L. d'Alauzier, 1984). En 1526, le fief est vendu à Jean de Gironde, puis en 1700 aux Pons, et passe en 1768, par héritage, au baron de Vivans (C. Didon, 1996).£L'édifice ne conserve que d'infimes vestiges d'une construction du 13e ou du 14e siècle. Son état actuel résulte de plusieurs campagnes de travaux successives, dont la plus importante, à laquelle appartient la tour d'escalier, se situe peut-être au 17e siècle.