Une campagne majeure de construction peut être datée du 16e siècle grâce à la présence de deux portes chanfreinées en plein cintre à congés biais au niveau de l'étage de soubassement. Elles sont associées à des jours rectangulaires également chanfreinés et à une maçonnerie de moellons irrégulièrement assisés qui constituent les vestiges en place de ce premier état attesté. Deux anciens édifices sont mentionnés à l'emplacement de la parcelle actuelle dans le compoix de 1616. Le registre les localise dans le quartier du Barriou dont la limite est déplacée plus à l'est après la destruction des fortifications. Au 17e siècle, l'extrémité de ce faubourg se situait encore au niveau des bâtiments étudiés qui s'élevaient de l'autre côté d'un fossé transversal renforçant la défense de l'entrée du faubourg du Bourguet. A l'ouest du fossé, une porte défensive construite sur la rue Droite marquait la jonction entre les deux faubourgs. La parcelle actuelle correspond ainsi aux premières maisons du Barriou. Celles-ci appartiennent à deux hommes de droit dont l'un est procureur à Toulouse. Sa demeure, située sur la partie est de la parcelle actuelle, comprend une partie habitation annexée d'une étable. Elle est prolongée par un jardin situé à l'arrière dont la limite sud s'inscrit dans le tracé de l'enceinte de la ville. Les deux maisons sont probablement rachetées par la ville avant le milieu du 18e siècle dans la mesure où le compoix de cette époque mentionne la maison commune à leur emplacement. Cette modification de la destination de l'édifice est sans doute liée à une nouvelle campagne de construction à laquelle on peut rattacher la deuxième porte basse en plein cintre et les demi-croisées non chanfreinées de l'aile sud. Associées à une maçonnerie qui vient s'appuyer contre le mur postérieur du bâtiment initial, ces ouvertures témoignent en effet de l'extension vers le sud des bâtiments du 16e siècle qui ont été également reconstruits en partie haute, en liaison avec la nouvelle extension (pierres d'attente dans la chaîne d'angle, en partie haute). Ce type de fenêtre permet de situer cette campagne de construction dans la deuxième moitié du 17e siècle, ce qui correspond aux mentions relevées. Des fenêtres à arc segmentaire et à appui non saillant indiquent que le corps de bâtiment sur la rue fait l'objet de remaniements dans la deuxième moitié du 18e siècle ou au début du siècle suivant.