Le plan cadastral de 1836 indique une parcelle encore vierge de toute construction (1836 D 798). Il s'agit d'un jardin potager. La plupart des parcelles aux alentours sont également des jardins potagers ou des terres non bâties avec parfois de petits bâtiments (remises, granges ?). Cette organisation spatiale disparaît lorsque le projet de traverse de Caylus est envisagé, vers 1863, par l'ingénieur Abrial. Les parcelles ont alors été divisées. Certaines ont intégré la voie publique, vers 1867 (d'après les matrices) et d'autres ont donné naissance à de nouvelles maisons, bâties le long de cette rue nommée aujourd'hui, avenue du 8 mai 1945.
D'après les matrices du cadastre, un magasin (en parcelle 1836 D 788) appartenant à Célestin Estève (tanneur à Caylus) puis à sa veuve, est construit en 1878. A proximité, une maison est agrandie en 1883 (en parcelle 1836 D 790).
En 1836, le jardin (en parcelle D 798) ainsi que le petit bâtiment (en parcelle D 797) appartiennent à Jean Garrisson, boucher à Caylus. Ce dernier vend le jardin et le bâtiment à Jacques Pechberty (menuisier) puis à Honoré Frauciel (fabricant de chandelles à Caylus), vers 1860. L'ensemble est ensuite vendu à Jules Félix Mathieu (en 1892) puis à Armand Delort, marchand de tissus à Caylus à partir de 1907. On ne sait pas lequel de ces différents propriétaires (Frauciel, Mathieu, Delort ?) a bâti la maison visible aujourd'hui en parcelle AB 923 mais on sait qu'elle est assurément construite entre 1867 et 1893 grâce aux archives fiscales et à une photographie issue du fonds Paul Faur (conservé aux archives départementales de Tarn-et-Garonne, 22fi768).
Ce cliché d'une grande portée documentaire, illustre les constructions nouvellement bâties ou agrandies, le long de la route ainsi que ladite maison qui présente le même emplacement et les mêmes caractéristiques aujourd'hui. Ce cliché est daté d'avant 1893. C’est la date à laquelle l'ancien château de Caylus avec son toit à la Mansart, est démoli.
La maison a peu évolué depuis la fin du XIXe siècle. En 2024, elle est l'objet d'importants travaux de rénovation.
