La maison semble présente sur le plan cadastral de 1812 mais elle a connu des reconstructions dans le 3e quart du 19e siècle.
La maison connait une importante phase de travaux à partir de 1860 et 1861 par le propriétaire de l'époque, Baptiste Castel, un aubergiste. Ce dernier reconstruit intégralement l'élévation sud, sur rue, en suivant l'alignement de la nouvelle route. Castel demande en 1860 l'ouverture de baies supplémentaires. Les plans de 1860 et 1861 indiquent que la maison possède un étage supplémentaire. Ce niveau est probablement créé en remplacement d'un comble à surcroît. En effet, le manque d'espace entre les linteaux de fenêtre et la toiture ainsi que la présence de pigeonniers dans l'angle sud-est, confortent l'hypothèse d'une transformation d'un comble en étage d'habitation.
Sur les plans de 1812 et de 1841, un escalier extérieur est dessiné contre l'élévation postérieure, au nord. Ce dernier a aujourd'hui disparu mais à une date inconnue.
Enfin au début du 19e siècle, une maison, appartenant à Jean-Pierre Rigal (parc. 1812 F 838), est accolée à la façade est de l'édifice, elle serait détruite entre 1841 et 1861. Un mur de clôture remplace aujourd'hui cette ancienne maison, suivant l'alignement de la route, il est monté par Baptiste Castel en 1881.
Chercheur pour le Département du Lot depuis 2017. Conservateur des antiquités et objets d'art du Lot depuis 2019.