Un premier repaire est mentionné en 1143 (C. Didon, 1996). Au 13e siècle, le fief est tenu par une famille de chevaliers, les Gari ou Garis (souvent orthographié Gavis, cf. E. Albe, 1905), dont Guillaume, fils de Guillaume et petit-fils de Pons de Garis et de Peyronne d'Ussel, qui hommage en 1295 à Guillaume de Guerre pour tout ce qu'il possède dans la paroisse de Concorès (G. Lacoste, 1884). En 1317, Pons de Garis, chevalier, est dit seigneur de Clermont-le-Gourdonnais (G. Lacoste, 1885).
En raison de son mariage avec Marquèse de Gavis, Jean de Toucheboeuf quitte le Limousin pour s'établir en 1440 (ou 1449 ?) au château de Clermont, dont la famille prend alors le surnom (Viton de Saint-Allais, 1818). Le château devait être habitable, bien qu'il soit dit ruiné pendant la guerre de Cent ans (C. Didon, 1996). Noble Guyot de Toucheboeuf, seigneur de Clermont, dénombre en 1504 pour le château qu'il habite et qui relève du roi (L. d'Alauzier, 1984). Lui succèdent à Clermont son fils Guillaume, marié en 1509 à Catherine de Lauzières-Thémines et qui vivait encore en 1552, puis son petit-fils Jean, marié à Louise de Salignac en 1552 et qui teste en 1572.
Les Clermont-Toucheboeuf ayant émigré, le château est mis sous séquestre pendant la Révolution puis vendu comme bien national ; la démolition des bâtiments ne serait intervenue qu'après 1826, date du plan cadastral sur lequel figurent encore les quatre corps de bâtiment. Le château a fait l'objet de plusieurs campagnes de restauration et de travaux à partir de 1930.
Le diagnostic archéologique (F. Boisserie, 2013) réalisé en 2013 sur la terrasse bordant le front ouest du château a permis de reconnaître les vestiges d'un bâtiment important, qui pourrait correspondre au repaire du milieu du 12e siècle, auquel a été accolé un second bâtiment, tous deux ravagés par un incendie et remplacés par de nouvelles constructions dont quelques substructions ont été mises au jour et dont certaines parties ont été conservées lors de la reconstruction du 16e siècle. Les rares décors sculptés qui subsistent et la forme de l'escalier invitent à ne pas situer le chantier du château de la Renaissance avant le deuxième quart du 16e siècle, et à en attribuer la commande à Guyot de Toucheboeuf ou à son fils Guillaume.
