L'édifice, qui s'étend aujourd'hui sur trois parcelles correspondant à plusieurs habitations, résulte du regroupement de deux anciennes maisons mentionnées au début du 17e siècle. A cette époque, la façade postérieure de la maison ouest s'inscrit dans le tracé de l'enceinte tandis que la maison est est prolongée par un jardin dont la limite sud est formée par la muraille de la ville. Un chemin de service longe l'ensemble, menant vers la petite porte fortifiée ""del Terrier"" située sur l'actuelle rue de la Loge. Quelques vestiges en place (arcade brisée) et en remploi (oculus quadrilobé de baie géminée) indiquent que ces maisons mentionnées dans le compoix sont probablement d'origine médiévale. Les parcelles sont rachetées au cours du 17e siècle par la famille de Ramondy, issue d'un ancien lignage noble de Najac, qui est à l'origine de sa reconstruction et de son extension par deux ailes en retour d'équerre au sud-est. L'édifice remanié est précisément décrit au milieu du 18e siècle comme une demeure avec cuisine, office, chambres, salon, cabinets, galeries, greniers, caves, ""teneyrials"" et terrasses. Une grande ouverture à pilastres moulurés en tore et gorge, ouvrant sur le rez-de-chaussée depuis la rue, ainsi qu'une demi croisée chanfreinée visible sur la façade latérale est semblent se rattacher à cet état du 17e siècle. Cependant, l'arc segmentaire de l'ouverture à pilastres, qui porte des traces de boucharde, est un remontage du 19e siècle. La plupart des autres baies, couvertes d'un linteau droit, témoignent de remaniements très importants réalisés sur l'ensemble des élévations en 1806 (date portée). Dès cette époque, l'ancienne maison de notable semble abriter plusieurs habitations et/ou plusieurs boutiques.