Les bâtiments occupent une partie de l'emprise d'une ""maison-forte seigneuriale"", parfois appelée ""château de Mirepoix"" ou ""château de la ville"", qui est resté propriété de la famille de Lévis jusqu'à la Révolution, au moins pour sa partie orientale. Les élévations actuelles sur le cours Louis Ponce-Tande, construites sur l'emplacement de l'enceinte de la ville, peuvent dater du 19e siècle alors que la tour appartient sans doute au 17e siècle.£Bien que lacunaires, les archives apportent des informations sur l'histoire de ces bâtiments au cours des siècles ainsi que sur certains personnages qui y ont vécu. Ainsi le compoix de 1666 nous indique que la maison désormais scindée en deux parties est occupée d'une part par le marquis de Mirepoix et d'autre part par les héritiers de Louis de Labalme. La présence de la famille de Lévis dans les lieux nous est par ailleurs confirmée par le compoix de 1766. En effet, la partie orientale de l'édifice est occupée par Louis François Marie Gaston de Lévis, marquis de Léran et de Mirepoix, dernier représentant de la lignée de Lévis.