La structure générale à tourelle d'escalier, les maçonneries en moellon et les ouvertures moulurées en double gorge témoignent d’une importante campagne de construction réalisée à la fin du 15e siècle.£Cependant, la tour semble conserve les vestiges d’un bâtiment plus ancien, de plan quadrangulaire, dont les maçonneries semblent avoir été largement reprises et percées de demi-croisées lors de la reconstruction du corps de logis. L’emprise de cette première construction pourrait également s’étendre vers le sud où s’élevait une aile postérieure actuellement détruite. Le dossier historique réalisé en 1977 dans le cadre de la démarche de protection de l'édifice propose une datation du 14e siècle pour la tour. Néanmoins, le type de mise en œuvre des maçonneries conservées (appareil irrégulier de petits moellons sans chaîne en pierre de taille) suggère une datation antérieure au 13e siècle. Il pourrait s’agir d’une première demeure aristocratique, voire d’une maison forte, implantée à proximité immédiate du château seigneurial.£Les corps de bâtiments qui délimitent une cour centrale au nord ont été implantés peu après la reconstruction du logis, comme en témoigne la présence d’une porte à piédroits en quart-de-rond et de jours en archères chanfreinés, datables du 16e siècle. Le corps de logis et les bâtiments de la cour ont fait l’objet de remaniements plus ou moins importants au début du 19e siècle (façade postérieure du corps de logis, aménagements intérieurs, porte de la cour…) et l’aile sud a été détruite.£L'identification de l'édifice comme la maison du sénéchal n'est pas corroborée par des preuves textuelles : il s'agit d'une ""légende"" locale qui s'appuie sur le fait qu'il s'agit là de la seule construction remarquable conservée au sein du noyau castral. Malgré tout, cette maison située en bordure de l'ancienne place du ""castrum"", près de la première maison commune et en contrebas du château, a probablement été, dès le Moyen Age, une demeure de type aristocratique, peut-être celle d’un chevalier ou de l’un des coseigneurs. Au début du 17e siècle, elle appartient à un bourgeois d’après le compoix de Najac.