En 1464, noble Pierre Boysson, marchand de Figeac, passe contrat avec le lapicide Jean Giragols, d'Aubin en Rouergue, pour l'ajout d'un étage au repaire de Seyrignac, qui est parfois qualifié de "tour" (J. Lartigaut, 2000). Les Boysson avaient été anoblis en 1437 (C. Didon).£Au siècle suivant les lieux sont tenus par les Durfort de Séguier. En 1610, Françoise de Palestron est dite "dame de Sérignac" (Clary, 1986) et la terre de Seyrignac est achetée en 1650 par Marguerite de Cussonnel, mariée à Bertrand de Cardaillac, seigneur de Marival (G. Thonnat, 1977). Le domaine appartient aux Salles au 18e siècle et au 19e siècle, avant d'être remplacés par les Gironde (Clary, 1986).£A première vue, les parties les plus anciennes à être conservées dans l'édifice actuel (principalement la tour d'escalier) ne sont pas antérieures au 4e quart du 15e siècle. Le château a connu de très importantes modifications aux 17e et 18e siècles, et surtout au 19e siècle. La chapelle a été construite au 19e siècle, après 1833, date du plan cadastral ancien sur lequel elle ne figure pas.