Située dans la vicomté de Turenne, la seigneurie d'Aynac paraît avoir été tenue de longue date par les Lavergne : en 1316, Bertrand de Cardaillac, suzerain de la moitié du château d'Aynac, reçoit l'hommage de Gilbert d'Aynac, fils de Donadieu de Lavergne, en faisant ouvrir les portes et crier par trois fois "Cardaillac" au sommet de la tour (E. Albe, 1910 ; G. Lacoste, 1885). Par son testament de 1399, le vicomte de Turenne Raymond VIII de Beaufort la donne à son fils naturel Hector de Turenne, fondateur de la branche des Turenne d'Aynac ; Hector est nommé viguier de Figeac en 1443 par le dauphin, futur Louis XI, et en 1448 il possède les terres d'Aynac, Molières et Palaret. Son descendant, Annet de Turenne, seigneur d'Aynac en 1504, marié en 1495 Jacquette de Ginouilhac, est capitaine général de l'artillerie et grand écuyer de France ; lui succèdent son petit-fils Galiot en 1539, François en 1591, Flotard en 1642, marié en 1633 à dame d'Aubepeyre Françoise de Chizadour et qui prend le titre de baron d'Aynac, Louis en 1677, qui s'intitule marquis d'Aynac. A partir d'autres sources, B. Tollon (1993) donne une chronologie un peu différente : François (c. 1548-1633), auquel il attribue la construction du château, aurait succédé à Galiot dès 1569 ; les initiales portées par le décor peint du plafond de la salle, où figure une représentation exacte du château, permettraient d'attribuer l'achèvement des travaux à Flotard et son épouse Claude de Gourdon-Genouillac de Vaillac.

Les Turenne d'Aynac conservent leurs propriétés pendant la Révolution et pendant tout le 19e siècle. Le château et le parc sont restaurés dans le dernier quart du siècle, après le mariage en 1874 de Guy de Turenne avec Elisabeth de Berthier-Wagram. Pour le portail d'entrée de l'escalier, Gustave Deloye, grand prix de Rome, sculpte quatre bas-reliefs dans l'esprit de Fontainebleau (V. Rousset, 2006).

Existence probable d'un jardin classique dont l'orangerie fut brûlée à la Révolution. Aménagement d'un parc irrégulier au 19e siècle.