Le bâti actuel du hameau de Vayrac englobe les vestiges de plusieurs fermes occupées à la période moderne. Plusieurs indices architecturaux permettent d'identifier un logis triple du 16e siècle, dont la subdivision en trois unités d'habitation apparaît encore sur le cadastre de 1826 mais qui ne forme aujourd'hui qu'une seule et même propriété. Une seule grange-étable est conservée : l'édifice a été remanié et rehaussé au 19e ou au début du 20e siècle, mais sa structure maçonnée, percée de plusieurs baies chanfreinées, peut être datée du 17e siècle. Elle fait actuellement partie d'une ferme dissociée de la propriété initiale (parcelles AR 12, 13).
Les sources de la fin du Moyen Age et de la période moderne permettent de suivre le processus d'implantation des fermes à proximité de l'ancien « castrum » de Vayrac. Implanté sur un éperon rocheux en contrebas de l'habitat actuel, ce site fortifié associé à un habitat groupé semble abandonné avant la fin du Moyen Age (voir la notice sur le castrum de Vayrac). Un premier mas, occupé par la famille de Veyrac ou de Mayanova, est recensé en 1474 dans un inventaire des biens du vicomte de Turenne (Pressouyre 1971, p. 124-128). Jouxtant les fossés de l'ancien château, il marque le début d'un processus de repeuplement du site après la guerre de Cent Ans. A ce mas a succédé l'habitat actuel déplacé sur le plateau avant le début du 17e siècle.
En 1612, un inventaire des mas dépendant du vicomte de Turenne mentionne deux paysans-tenanciers (peut-être parmi d'autres) : François Veyrac, descendant direct de la première famille, et Jean Roudergues, probablement issu d'une famille installée à Comiac au milieu du 15e siècle (Pressouyre 1971, p. 128). En 1826, d'après le cadastre de Calviac, ce sont trois habitants qui occupent l'îlot formant le centre du hameau. Deux sont issus d'une même famille de cultivateurs ; ils possèdent deux maisons mitoyennes (parcelles ouest et centrale), ainsi que deux granges accolées, qui constituaient peut-être un seul et même bâtiment divisé en deux parties égales (d'après le plan cadastral de 1826 ; bâtiments actuellement disparus). Le logis est appartient quant à lui à une famille noble : le propriétaire mentionné en 1826 est Melchior Toussaint de Dourdou de Pierrefiche, chevalier de l'Ordre de Saint-Louis résidant à Saint-Céré. Ce dernier tenait probablement la propriété de son arrière-grand-mère, Jeanne d'Araquy, membre d'une importante famille noble de Calviac possédant notamment le château voisin de Couderc. On peut donc supposer qu'à cette date, la troisième ferme constituée autour du logis est, était exploitée en faire-valoir indirect et confiée à un métayer.
Les vestiges les plus anciens et les plus homogènes sont visibles à l'extrémité ouest de l'ensemble bâti où sont conservés, sur deux niveaux, une grande partie des maçonneries, les niveaux de plancher ainsi que les aménagements domestiques d'origine. Relevant d'une tradition médiévale, ces différents éléments sont datables du 16e siècle. Ils permettent d'identifier une cellule d'habitation équipée d'une cheminée, d'un évier et d'une latrine, séparée de la maison centrale par un refend maçonné qui se développe sur deux niveaux (cave et étage). Une porte semble avoir été ménagée ultérieurement dans le mur mitoyen pour mettre en relation les deux unités d'habitation (passage repercé dans la maçonnerie de façade).
Les autres parties (parcelles centrale et est) ont fait l'objet de nombreuses transformations qui ont largement effacé les dispositifs d'origine. Néanmoins, deux jours chanfreinés et les vestiges probables d'une porte haute attestent d'un état antérieur au 17e siècle et révèlent une continuité initiale des niveaux de plancher sur l'ensemble de la structure. On observe par ailleurs une homogénéité globale des fragments de maçonneries anciennes (pas de chaîne d'angle en façade) qui tendent à appuyer l'hypothèse de l'existence d'un logis du 16e siècle subdivisé en plusieurs cellules d'habitation séparées par des refends maçonnés.
La maison est a été remaniée dès le 17e siècle : à cette période appartiennent les deux cheminées aménagées dans le mur-pignon est (dont l'une millésimée "1634"), ainsi que la souillarde hors-œuvre construite contre l'ancienne façade nord. L'observation du parcellaire et l'emplacement de ces aménagements laissent à penser que le logis initial a été étendu vers l'est en 1634. Par ailleurs, la répartition des nouveaux équipements de confort domestique signe une réorganisation probable de l'espace interne, se traduisant par l'installation d'une vaste salle commune au rez-de-chaussée et d'une ou plusieurs chambres à l'étage. Cette campagne de travaux semble globalement contemporaine de la construction (ou reconstruction) de la grange-étable qui s'élève encore à l'arrière du logis.
D'autres transformations ont été opérées à la limite des 18e et 19e siècles, se traduisant notamment par l'adjonction d'une souillarde au nord de la maison centrale. Mais ce sont essentiellement les travaux entrepris dans la deuxième moitié du 19e siècle qui ont donné à la structure bâtie son aspect actuel, rehaussant les niveaux de plancher et agrandissant l'habitation sur l'emprise de l'ancienne souillarde. Le corps de bâtiment ainsi édifié au nord a accueilli la nouvelle porte d'entrée qui semble gravée du millésime "1895" (inscription partiellement dissimulée). C'est peut-être à cette époque que les différentes entités, ou du moins les parcelles centrale et ouest, ont été réunies et mises en communication. L'ancienne voie de service, qui passait au sud pour desservir à la fois les maisons mitoyennes, un fournil et un puits, a été transformée en cour privative.
