Pierre de Massaut, seigneur d'Anglars, dénombre en 1504 pour Anglars, et divers droits dans des paroisses voisines dont Caillac, où il possède une maison avec jardin, tenus sans seigneurie de l'évêque de Cahors (L. d'Alauzier, 1984). Lagrézette n'apparaît qu'en 1540, lors d'un dénombrement effectué par son fils Gilibert de Massaut, grand archidiacre de Cahors, décédé en 1543. Sur la voûte de la chapelle figurent, aux côtés des armes des Massaut, celles d'Aloys ou de Paul de Caretto, successivement évêques de Cahors de 1514 à 1524 et de 1524 à 1553. La similitude des décors de l'hôtel construit à Cahors pour le grand archidiacre en 1527-1528 et du château de Lagrézette et l'absence de toute référence aux châteaux d'Assier ou de Montal invitent à attribuer à Gilibert de Massaut la construction de Lagrézette : le chantier a pu être ouvert dans les années 1520.

Après 1543, le château est occupé par Antoine de Massaut, un neveu de Gilibert, dont la trahison aurait facilité la prise du château épiscopal de Mercuès en 1562, et qui l'aurait vidé de ses meubles pour les porter à Lagrézette (G. Lacoste, 1886). En 1612, c'est un Bertrand de Malégat qui hommage à l'évêque pour Lagrézette, puis le château passe par alliance à Antoine de Lebrun, dont le descendant lègue le domaine en 1706 à Pierre Joseph de Belcastel. En 1774, le château est acheté par le marquis Alexandre de Malartic, dont la fille épouse en 1796 le général Jean-Jacques Ambert, ami de Murat, dont l'un des fils est deux fois député du Lot. A partir de 1859, Lagrézette change sept fois de mains jusqu'à son acquisition en 1980 par de nouveaux propriétaires qui le font alors restaurer et créent les jardins. Une étude précise serait nécessaire pour déterminer les modifications successives et les parties restaurées.