Larroque-Toirac a été le siège d'une petite seigneurie dépendant de Montbrun, dont, en 1320, le roi cède la moitié de la baronnie et de ses dépendances, dont Larroque-Toirac, à Arnaud Duèze qui la revend en 1333 à Hugues de Cardaillac-Brengues (L. d'Alauzier, 1950). En 1320 figure parmi les co-seigneurs de Larroque-Toirac un Bertrand de Ruppe, ou de Laroque, sans doute un descendant des chevaliers qui avaient reçu la garde du castrum (L. d'Alauzier, 1950 ; M. Fabre, P.-L., Pardieu, 1978). Pierre de Laroque, qui teste en 1410, s'intitule co-seigneur de Laroque-Toirac et seigneur de Lavergne ; lui succèdent Bertrand, marié à Fayt Ebrard de Saint-Sulpice, Jean, marié à Louise Felzins de Montmurat, puis Claude, mentionné en 1474, marié en premières noces (M. Fabre, P.-L., Pardieu, 1978, p. 40, 46) à Agnès de Mirabel et qui vit encore en 1504 (L. d'Alauzier, 1985). Les deux fils de Claude, Bertrand et François de Laroque, s'engagent dans un procès coûteux qui les amène à vendre la plupart de leurs revenus de Larroque-Toirac, Frontenac, Carayac, Béduer et Ambayrac, et à hypothéquer le château de Larroque-Toirac qui est finalement vendu, en 1546, à Pierre d'Hujols, bourgeois de Figeac (L. d'Alauzier, 1950).
En 1732, Jean-Joseph d'Hujols lègue ses biens à Raymond de Pontanier du Saulon, puis la seigneurie est vendue vers 1760 à Jean-Joseph Dufau ; en 1840, Charles Dufau vend le château en plusieurs lots, que la commune rachète progressivement pour y installer l'école de garçons (C. Didon, 1996).
La tour dite des "Cinq Cayres, les vestiges de murs qui la jouxtent ainsi qu'une partie du corps de logis nord, au moins, appartiennent à des constructions qui peuvent dater du 13e ou du 14e siècle. Pour sa plus grande partie, le château actuel date cependant de la fin du Moyen Age. La modénature des fenêtres et des cheminées le situerait dans les dernières décennies du 15e siècle ou au tout début du 16e. Le nouveau château est la manifestation éclatante de la réussite sociale des Laroque, enrichis par les alliances successives : son commanditaire, Claude de Laroque, a soin de le rappeler en faisant peindre les armoiries de sa grand-mère et de sa mère aux côtés de celles du lignage. La présence, qui n'est pas expliquée, des armes de France, de Savoie et du Dauphiné conduirait à placer l'exécution de ce décor avant 1483, date de la mort de Louis XI (plutôt qu'au début du 16e siècle, qui est la datation habituellement retenue).
Chercheur en inventaire du patrimoine pour le Département du Lot depuis 2019.