La première mention connue du Fossat apparaîtrait avec la vente, en 1292, de la maison appartenant à Hugues de Manhac ; au 14e siècle, le Fossat est aux Caussade, seigneurs de Puycornet (C. Didon, 1996), qui le possèdent encore au début du 16e siècle : Raymond de Caussade, seigneur de Puycornet et vicomte de Calvignac, dénombre pour le Fossat en 1504 (L. d'Alauzier, 1984). C'est l'étude de la famille de Saunhac par Joseph de Bonald (1926) qui permet ensuite de lever les contradictions de la bibliographie : Jean II de Saunhac, qui a épousé en troisièmes noces Marguerite de Caussade en 1489, hérite des biens de son oncle Raymond de Caussade avant 1542 ; marié en 1538 à Jeanne de Peyrolles et mort vers 1560, leur fils François, qui est à l'origine de la branche des Sauhnac-Fossat, est seigneur du Fossat où il réside (G. Lacoste, 1885). Les Saunhac se maintiennent au Fossat jusqu'au 19e siècle : en 1870, Armand-Augustin de Saunhac, baron du Fossat, obtient l'autorisation d'établir une chapelle dans le château (Bulletin des lois, 1871). L'édifice a été transformé en hôtel dans la seconde moitié du 20e siècle.£La tour principale du château peut dater du 13e ou du 14e siècle. Certaines parties pourraient dater du 16e siècle et d'autres du 18e siècle, mais il ne s'agit là que de conjectures : les restaurations réalisées au 20e siècle ont été très importantes et l'édifice n'a jamais fait l'objet d'aucune étude,