La première mention de Loubressac apparaît au 9e siècle dans le caturlaire de l'abbaye de Beaulieu. Aux 12e et 13e siècles, la seigneurie est sous la suzeraineté de la maison de Castelnau, avec Gramat, entre autres : en 1259, Hugues de Castelnau hommage au comte de Toulouse, Alphonse de Poitiers. En 1350, Guérin de Castelnau s'avoue vassal du vicomte de Turenne pour la baronnie de Gramat et ses appartenances, dont la châtellenie de Loubressac (G. Lacoste, 1885, p. 127). Loubressac étant occupé par les Anglais depuis au moins 1387, Elzéar d'Aigrefeuille demande dix ans plus tard au comte d'Armagnac d'aider son neveu, seigneur de Gramat, à le reprendre. Les d'Aigrefeuille conserve la seigneurie jusqu'en 1476, date à laquelle elle passe à Béraud de Faudoas-Barbazan, qui la vend et rachète plusieurs fois (C. Didon, 1996). Lors du dénombrement de 1504, c'est Jacques de Genouilhac, dit Galiot, seigneur d'Assier, qui tient la baronnie et le château de Gramat et Loubressac qui en dépend (L. d'Alauzier, 1984), mais dès 1507 le fief est à nouveau vendu à Jean d'Auriolle, évêque de Montauban et à son frère Aymar, dont la fille Anne d'Auriolle épouse Raymond de Gontaud-Cabrerets en 1546. Anne d'Auriolle fait procéder à d'importants travaux d'aménagement au cours de la première moitié du 16e siècle (C. Didon, 1996). Loubressac est occupé par les protestants en 1572, et la seigneurie est vendue à réméré à Henri de Noailles l'année suivante, puis rachetée vingt ans plus tard par les Goutaud-Cabrerets qui la conservent jusqu'en 1730 (C. Didon, 1996). Le château est vendu comme bien national à la Révolution. Les tours et les créneaux des remparts sont rasés à la fin du 19e siècle, puis le château est restauré au début du 20e siècle, avant 1922, par l'écrivain Henri Lavedan.£La fenêtre ternée de l'élévation nord, au-dessus de l'escarpement, témoigne de l'existence d'un édifice à cet emplacement dès la fin du 12e siècle ou le début du 13e siècle, et les croisées de l'importance des travaux réalisés pour Anne d'Auriolles.