Le plan cadastral de 1836 indique une parcelle (AB 317) vierge de toute construction. La façade de la maison a été construite vraisemblablement après l'école de filles, voisine, construite entre 1874 et 1877. Sur l'avenue du père Huc, Les pierres de taille en attente dans le chaînage de droite de l'école laissent entendre une future construction en suivant, le long de l'avenue. La maison a donc été construite après 1877. Toutefois, une partie de l'arrière de la maison est probablement antérieur. La maçonnerie visible au bas des escaliers, sur la rue du Coin de Madone peut, en effet, être plus ancienne.

Sur la façade nord, l'enduit au ciment avec les chaînages d'angle soulignés date de la seconde moitié du 20e siècle.

Le balcon en béton armé peut dater du début du 20e siècle.

Les photographies prises par Paul Faur au tournant des XIXe et XXe siècles illustrent un café : "Le café Perry" au rez-de-chaussée de cette maison (Fonds Paul Faur [1880-1908], Archives départementales de Tarn-et-Garonne). Paul Faur (1857-1912) est un notaire et photographe amateur, qui a fixé sur plaques de verre de nombreuses scènes de la vie quercynoise à Caylus et ses alentours. Ces photographies de l'avenue du Père Huc, dévoilent également que l'ancien café présentait en toiture, une lucarne aujourd'hui disparue.