D'après les notes du chanoine Albe, Hugues de Cardaillac reçoit en 1316 une reconnaissance d'un Raymond de Saint-Géry, dont la seigneurie passa ensuite par alliance aux Hébrard de Saint-Sulpice ; en 1482, Raymond Hébrard, évêque de Cahors, possède "le château et la maison forte" (Clary, 1986 ; J. Lartigaut, 2001, p. 316). En 1504, Saint-Géry est tenu par Antoine de Gontaud, seigneur de Cabrerets et de Lalbenque, et Raymond Hébrard de Saint-Sulpice, baron de Labastide Froutanière (Labastide-Murat), sous la suzeraineté des Saint-Cirq (L. d'Alauzier, 1984).
Le "château" lui-même n'est donc que très peu renseigné par la documentation. Une porte à arc brisé et l'appareil de certains murs permettent de dater une partie des vestiges du 13e ou du 14e siècle, sans exclure la possibilité de maçonneries plus anciennes.