Au 11e siècle, les vicomtes de Brassac, près de Montvalent, étaient également vicomtes de Saint-Cirq et de Calvignac, et c'est après la vente de Brassac, par Guillaume de Calvignac et son frère Raymond de Brassac, au vicomte de Turenne, avant 1190, qu'ils auraient pris le titre de vicomtes de Calvignac (G. Lacoste, 1883 ; E. Albe, 1910, E. Albe, 1998). C'est cependant un vicomte de Calvignac qui serait à l'origine de la fondation du monastère d'Espagnac vers 1150. Calvignac était sous la suzeraineté de l'évêque de Cahors, auquel les vicomtes ne devaient toutefois que le seul hommage (J. Lartigaut, 1993).
A la mort du comte de Toulouse Raymond VII en 1249, Dorde, vicomte de Calvignac, est parmi ceux qui font serment de fidélité entre les mains des commissaires de la reine Blanche, et il prête serment au comte Alphonse de Poitiers en 1259. En acquérant, par alliance, la seigneurie de Larnagol, les Calvignac s'assurent au début du 14e siècle le contrôle des deux rives du Lot, que les vicomtes de Calvignac et Larnagol conservent jusqu'à la vente séparée de 1638. En 1351, Calvignac, qui fait partie de la châtellenie de Caylus, compte 40 feux (E. Albe, 1905). Vers 1350, Raymond de Caussade, seigneur de Puycornet, épouse l'unique héritière des Calvignac, et son fils renouvelle, au nom de sa mère, les baux à fief de la vicomté en 1375 (G. Lacoste, 1885 ; E. Albe, 1998). Les Caussade de Puycornet tiennent la vicomté jusqu'à sa vente en 1596, puis elle passe, avant 1624, à Charles de Cazillac, baron de Cessac, et en 1638 au seigneur de Cénevières, Charles de la Tour de Gouvernet, dont les descendants la conservent jusqu'à la Révolution. Vers 1850, on signale encore les "ruines d'un château" au haut du bourg (C. Constant-Le-Stum, 2001).
La porte qui subsiste à l'ouest, avec une portion de l'enceinte, peut dater du 13e ou du 14e siècle. Les vestiges de plusieurs bâtiments de la même époque subsistent à l'intérieur du castrum, ainsi qu'un pan de mur, peut-être la base d'une tour, qui pourrait être plus ancien.
