Emile-Joseph Rignault (1874-1962), peintre, amateur d'art et collectionneur, achète en 1922 (date habituellement admise) des bâtiments en mauvais état si ce n'est en ruine, auxquels s'ajoutent en 1930 deux autres maisons (parc. 1841 F3 1137 et 1138) qu'il fait démolir (V. Rousset, 1996). En 1931, il est en train de « faire artistiquement restaurer » ce qui est considéré comme « une dépendance de l'ancien château du 15e siècle » (Bulletin de la Société des Etudes du Lot, 1931), le « château de la Gardette » dont le corps de logis principal subsiste à l'ouest (IA46101540). « D'une ruine, il a fait un chef-d'œuvre de grâce » (Bulletin de la Société des Etudes du Lot, 1936) : de fait Emile-Joseph Rignault a presqu'entièrement créé l'édifice « romantique » que nous connaissons aujourd'hui, qu'il a agrémenté d'éléments architecturaux et de sculptures de provenances diverses.
Le corps de bâtiment nord a cependant conservé une large part de ses états anciens, datables des 13e-14e siècles pour la partie basse et des 15e-16e siècles pour les niveaux supérieurs, dont le mur crénelé (V. Rousset, 1996).
