Propriété des Coderc, une famille de notaires de Luzech, au 15e siècle, le château est encore tenu vers 1564 par Louise del Coderc qui épouse Antoine Courteix, ou Courtois. En 1640, il devient par mariage propriété des Lefranc. Les trois corps de logis du 17e siècle pourraient dater de cette période. La 4e génération est marquée par le passage de Jean-Jacques Lefranc, futur marquis de Pompignan en Tarn-et-Garonne, où il fit aménager un parc à fabriques à symbolique philosophique. Dès 1745, il fait de Caïx sa résidence préférée et entreprend d'importants travaux sur le château et probablement dans le parc, avec en particulier la construction du belvédère. Il composa dans ce belvédère la pièce "Didon" qui lui valut une grande notoriété. Son fils n'habita jamais le domaine qui changea de mains après la Révolution. Il fut vendu en 1974 à la famille royale de Danemark.