La famille qui a laissé son nom au château de Grimard apparaît à plusieurs reprises dans les archives aux 13e et 14e siècles, avec des biens situés principalement dans la paroisse de Cazes ; dans la première moitié du 14e siècle, un Pierre Grimard est qualifié de "donzel" (J. Lartigaut, 1991). Les Grimard disparaissent peut-être pendant la guerre de Cent ans. En 1504, noble Aldete de Massaut et son fils Antoine Delort, de Cahors, dénombrent pour une maison noble à Duravel, avec jardin, terre, vignes et four, et une métairie située à Grimard, avec un moulin et un colombier (L. d'Alauzier, 1984), ce qui ne permet pas d'y reconnaître le repaire, mais en 1530, Antoine de Lort est dit seigneur de Grimard : il a épousé 1529 Marguerite de Pélagrue, d'une famille noble de l'Agenais, et il réside sur ses terres (J. Lartigaut, 1991) Le château aurait été saccagé au 16e siècle par les Lézergues d'Orgueil et les terres données en fief aux Dupuy ou aux Bonafous (Clary, 1986). Des de Lort de Grimard sont cependant connus du 16e au 18e siècle.£Les vestiges du premier état de l'édifice peuvent dater de la fin du 13e siècle ou du 14e siècle. Trois culots sculptés en remploi et une cheminée témoignent de travaux réalisés après la guerre de Cent ans, à la fin du 15e siècle ou au début du 16e. Une importante campagne de restructuration de l'édifice et peut-être d'agrandissement, à laquelle appartient l'escalier, est intervenue au milieu du 17e siècle.