D'abord aux Cosnac, Puycalvel serait passé par alliance aux Gauléjac au 14e siècle (G. Lacoste, 1884). Vers 1423, Raimond-Bernard de Gauléjac, marié à Catherine de Vigier de Rassiels, est seigneur de Puycalvel en Quercy et de Besse en Périgord ; les Anglais occupent alors Puycalvel, qu'ils laissent moyennant rachat en 1430, après l'avoir ruiné à l'exception d'une tour qui existe encore au moment de la Révolution selon G. Lacoste (1885). En 1485, où il apparaît comme exécuteur testamentaire de son épouse Sébélie de Lagarde (J. Lartigaut), et lors du dénombrement de 1504, Jean de Gauléjac est seigneur de Puycalvel, qu'il tient avec toutes justices, et il est également coseigneur en indivis de Lamothe (L. d'Alauzier, 1984). Gabriel de Gauléjac fait reconstruire dans les années 1560 le château de Besse, où il réside en 1571. A partir de la fin du 16e siècle semble-t-il, les Gauléjac sont dits "vicomtes de Puycalvel". Au 17e siècle, la seigneurie passe aux Clermont de Toucheboeuf, puis aux Cunhac de Giversac en 1690 (E. Sol, 1950). Vestiges d'une demeure du 14e siècle (?).