Mayrac serait mentionné en 930 par le testament d'Adhémar des Eychelles. La documentation semble rare pour les siècles suivant, jusqu'au milieu du 15e siècle. En 1445, le vicomte de Turenne, Annet de la Tour, donne le tiers de la justice du lieu de Mayrac à Jean Luquet (G. Lacoste, 1885), damoiseau d'Oliergues, gouverneur de la vicomté ou bien son procureur (J. Juillet, 2001, p. 41) ; la même année ou quelques années plus tard, en 1453 (C. Didon, 1996), Annet de la tour l'autorise à "bâtir un château avec fossés et autres fortifications" (G. Lacoste, 1885). En 1493, Jean II de Luquet de Chaylar, seigneur de Mayrac et de Réveillon, hommage au vicomte de Turenne (J. Juillet, 2001, p. 53) , il est dit bayle perpétuel du lieu pour le vicomte de Turenne lorsqu'il dénombre au roi en 1504 pour différents biens dont Mayrac, où il possède une "petite maison", et le repaire de Réveillon (L. d'Alauzier, 1984 ; J. Juillet, 2001, p. 54). Il a épousé en 1475 Henriette de Lestrade de Floirac et d'Agude (J. Juillet, 2001, p. 54). Son fils Antoine Luquet du Chaylar ratifie une promesse de mariage avec Marguerite de Thémines en 1513 et hommage au vicomte de Turenne en 1520 (J. Juillet, 2001, p. 54).
Par le mariage de Balthazare du Chaylar, Mayrac passe en 1576 à Jacques Maschat, seigneur de la Meschaussée, et en 1676, c'est Henri Joseph de Fénelon, marquis de Salignac qui hommage au vicomte de Turenne pour Mayrac, qui est vendu en 1785 à Pierre de Lachèze-Murel, conseiller du roi puis président du Conseil général du Lot sous Napoléon (J. Juillet, 2001, p. 57, 58). Le château est acheté en 1856 par Jean-Baptiste Fayette.
A moins qu'elles n'aient été ajoutées après-coup, les armoiries qui figurent sur une cheminée seraient en faveur d'une construction réalisée après 1513 pour Antoine de Luquet et Marguerite de Thémines. Il n'est pas exclu cependant que l'aile nord soit plus ancienne, correspondant alors à la "petite maison" mentionnée en 1504. En tout cas, l'autorisation de bâtir donnée par le vicomte de Turenne en 1445 ou 1453 n'aurait pas été suivie immédiatement d'effet.
