Plusieurs vestiges de l'élévation nord attestent de la présence d'un édifice médiéval contre lequel est construite, en 1552, une tour polygonale par le marchand Henry Aussaguel.£L'édifice médiéval, étudié par Catherine Guiraud (op. cit.), s'insère dans un ensemble plus vaste qui fut propriété des familles Rességuier, Fournier, puis Maignal. L'installation dans cet ensemble de l'institution Sainte-Croix, un collège de jeunes filles, entre 1887 et 1968, dirigé par la congrégation des ""Filles de la Croix"" de Lavaur entraina de nombreuses transformations. En 1975, la vente des bâtiments à la Société Mutualiste ""Le Troisième Age"" permit la réhabilitation des parties orientales et méridionales et l'installation de la Maison de l'Amitié.£L'acquisition des parcelles par la municipalité en 1980 et l'aménagement de 23 logements pour personnes âgées par l'Office Public Départemental HLM du Tarn des bâtiments longeant la rue des Nobles ont contribué à faire disparaître les éléments anciens de la demeure.£Catherine Guiraud, n'a pas réussi à définir le type d'édifice qui était construit à cet endroit. Il est toutefois presque certain que la façade principale ouvrait sur la rue des Nobles où l'emploi assez systématique de la pierre de taille témoigne du soin apporté à cette élévation.