Premiers seigneurs de Tersac, les vicomtes de Turenne en conservent la justice jusqu'en 1738. La seigneurie est tenue par les Faydit, une famille originaire du Limousin, au 13e siècle ; ils la partagent un temps avec les Réveillon puis redeviendront les seuls seigneurs de Tersac à partir de 1460 (C. Didon, 1996). Alors que le château est pris par les Anglais en 1357, les Faydit se réfugient à Cressensac. En 1504, nobles Louis et Guillaume (Faydit) de Tersac, seigneurs de Tersac et coseigneurs de Saint-Michel-de-Bannières, dénombrent pour Tersac avec maisons, jardins et trois métairies (L. d'Alauzier, 1985). Les Castres succèdent aux Faydit en 1748 ; mis sous séquestre pendant la Révolution, le château passe par alliance, en 1830, aux Quercy qui le conservent jusqu'en 1918 (C. Didon, 1996).£Les fenêtres conservées permettent de proposer de dater le logis initial du début du 14e siècle. La tour d'escalier date du 16e siècle ; elle était accolée à une tour ronde qui s'est effondrée au 20e siècle. Le logis a été doublé vers l'est à l'époque moderne.