Aujourd'hui isolée, la maison appartenait à un petit îlot de quatre parcelles, dont trois sont encore représentées bâties sur le plan cadastral de 1841. Le bâtiment de la parcelle F3 1105 est démoli en 1882 (V. Rousset, 1998, p. 2) et celui de la parcelle 1104 n'apparaît pas sur la plus ancienne photographie connue de la maison (fonds de la Société des Etudes du Lot).
Albert Magot achète la parcelle B 1105 en 1916 et hérite de la maison en 1919 (V. Rousset, 1998), laquelle est inscrite à l'inventaire supplémentaire des Monuments historiques en avril 1920, sans doute à l'initiative d'Emile Toulouse (1860-1927), architecte du département de 1908 jusqu'à sa mort. Bien qu'elle appartienne à Maurice Permezel, maire de Sauliac, depuis 1921, elle est encore appelée Maison Magot en 1936, lors de la visite de la Société des Etudes du Lot qui attribue sa restauration à Emile Toulouse, en lui reconnaissant d'avoir été le premier à entreprendre de « ressusciter » Saint-Cirq (Bulletin de la Société des Etudes du Lot, 1936). Une photographie de la façade nous donne une idée des travaux effectués avant 1927 (Saint-Cirq-Lapopie : Images d'un temps passé, 2005).
Une nouvelle campagne de travaux est menée après l'acquisition de la maison par les Vaillat-Brouste en février 1950, et c'est sans doute à ce moment-là que le second étage, en pan de bois, est restauré ; des travaux sont encore exécutés en 1967 à l'intérieur (sols et cheminée) et à l'extérieur (reprise d'appareil, linteaux et seuils) (V. Rousset, 1998, p. 2, 25-26).
La maison a été construite contre l'angle d'un bâtiment existant à l'ouest (celui de la parcelle 1104 du plan de 1841) dont subsiste le premier niveau du mur sud-est avec une porte chanfreinée couverte d'un arc brisé. V. Rousset (1998) a attribué à deux phases antérieures le mur mitoyen nord-ouest (parc. 1841 F3 1105) d'une part, et le mur mitoyen nord-est et la maçonnerie en retour sud-est d'autre part.
La composition de ses élévations et les formes de ses baies et de ses équipements font de cette maison une exception en Quercy, et semblent exclure une datation de la fin du 13e ou du début du 14e siècle au profit des décennies suivantes pour lesquelles nous ne connaissons que peu d'édifices civils. En dernier lieu, V. Rousset (2005) retient les années 1350-1370, sur la base de l'analyse de dendrochronologie réalisée sur les portes de l'armoire murale du premier étage, dont les résultats ne peuvent cependant avoir qu'une valeur indicative, mais non confirmée faute d'un échantillonnage suffisamment nombreux. Le pan de bois du deuxième étage a été en grande partie reconstruit, avec des croix de Saint-André et un appui de fenêtre que l'on situerait aux 15e-16e siècles, mais que V. Rousset (2005) propose de placer aux environs de 1637, date fournie par la dendrochronologie.