L'hôtel Pierre de Brens qui accueille actuellement les archives municipales de Gaillac était la demeure de la famille noble Pierre de Brens qui l'a fait construire.

En effet, il faut remonter au milieu du 11e siècle pour voir un certain Pierre (de Viviès, 1992, p. 15-16), proche des Trencavel, posséder en fief un certain nombre de terres autour de Gaillac. En 1062, Pierre prête serment pour les châteaux de Brens, Cahuzac, Montaigut à Raimond, vicomte d'Albi et de Nîmes. Le nom de Pierre est éponyme de la lignée qui se désignera par la suite comme étant de "Pierre". Guiral de Pierre figure dans un acte de 1145 et rend hommage au vicomte d'Albi pour les châteaux de Brens, Gaillac, Montaigut et Cahuzac (op. cit., p. 16). Guillaume Ier de Pierre de Brens est un personnage important. En 1167, il est nommé dans le testament du vicomte de Trencavel "pour pouvoir gouverner tout le domaine qu'il avait dans le païs", dont il lui donna une partie en fief. Son descendant Guillaume II Pierre a été évêque d'Albi de 1185 à 1227 et un personnage remarquable par ses nombreuses qualités en tant qu'homme d'église, homme de guerre, administrateur ou diplomate (de Viviès, 1992, p. 17-22). Mais c'est probablement Guillaume III de Pierre de Brens qui est la figure marquante de la famille dans le Gaillacois. En 1243, il prête serment lors du traité de Paris. Son sceau de 40 mm contient un lion léopardé portant heaume et couronne passant et couronné à l'orle de neuf besants avec l'inscription : "S:G:P:DE:BERENCS". Son fils Guillaume IV de Pierre de Brens est qualifié de domicellus et est dit fils de "nobilis Viri D. Guil. Petri de Berencs, domini pro quarta parte villae Galliaci". Il possédait le quart de la seigneurie de Gaillac. C'est probablement ce dernier qui fit construire l'hôtel dit de Pierre de Brens et donna son nom à l'édifice. Le bâtiment conserve en effet dans l'élévation est et nord du corps de bâtiment des élévations de la 2e moitié du 13e siècle percées de baies en arc plein cintre à double rouleaux et le départ d'une baie géminée avec cordon d'appui et cordon d'imposte. Les maçonneries sont montées avec des briques présentant une couleur foncée et des gabarits de 6,5 cm d'épaisseur et 24 cm sur 34 cm. Sur les photographies anciennes, il est possible également de repérer une porte couverte d'un arc brisé dans le mur de clôture de la cour secondaire. La famille de Pierre de Brens peut être suivie jusqu'à la fin du 14e siècle avec la dernière héritière, Eustachie de Bruières, dame de Brens, qui épousa Ratier de Landore. Leur héritier Philippe de Landore vendit en 1427 aux consuls de Gaillac la huitième partie de la seigneurie de Gaillac pour la somme de 1100 écus d'or (de Viviès, 1992, p. 26). Bien que les sources ne puissent donner plus d'informations, il semblerait que ce soit la famille de Pierre de Lavalade qui assura la descendance de cette lignée.

Avec la prospérité revenue, ils commanditèrent des travaux d'importance dans l'hôtel qui fut entièrement modernisé en 1530. En effet, les prélèvements opérés par Roberta D'Andrea dans les bois du plafond du rez-de-chaussée et du premier étage, dans le cadre du projet régional BOSCA (Bois d'Œuvre, SylviCulture, Acheminement) du Défi Clé " Sciences du Passé ", sous la direction de Nicolas Poirier (Laboratoire TRACES UMR 5608 CNRS - Université de Toulouse - Jean Jaurès), ont livré une date moyenne d'abattage des bois de 1530 révélant une campagne de travaux homogène (DANDREA, 2025). Elle se caractérise par une réorganisation du corps de logis principal avec de nouveaux niveaux réaménagés du sol au plafond et la construction d'un corps de bâtiment en retour abritant la tour d'escalier en vis et une tour (AM Gaillac, 11 S, plan de 1827). Est-ce à ce moment-là également qu'un corps de bâtiment a été élevé contre l'élévation nord et un autre contre l'élévation occidentale, comprenant au rez-de-chaussée des chais ? De cette organisation divisée en deux cours, il reste deux arcades surbaissées retombant sur une colonne centrale en pierre et supportant un mur de clôture séparant la cour de l'hôtel avec la cour des communs dans laquelle se trouvaient le chai mais aussi les écuries et le bûcher.

Probablement à la fin du 18e siècle ou au tout début du 19e siècle, le rez-de-chaussée du bâtiment principal a été percé d'une porte accessible depuis la cour et un corridor a été établi dans son alignement. Il desservait le salon à gauche et la chambre à droite. La cuisine se trouvait dans le corps de bâtiment nord équipé d'un escalier en vis inséré dans le mur. Au premier étage étaient établies les chambres et contre l'escalier en vis la bibliothèque.

Un particulier nommé Girma possédait l'édifice lorsque le département l'acquiert en 1826 pour y établir des prisons (AM Gaillac 11 S, dossier sur les prisons et plan des réparations à faire aux prisons de Gaillac, Hugonet, 1834). Le bâtiment est alors transformé en prison. Le plan levé par Hugonet en 1834 présente les différents aménagements possibles. Au rez-de-chaussée, les prisons criminelles sont installées dans les deux espaces du chai et le pétrin est transformé en cachot (AM Gaillac 11 S, plan des réparations à faire aux prisons de Gaillac, Hugonet, 1834). A l'étage, les prisons pour dettes et les prisons des femmes étaient situées au-dessus des précédentes et un cachot se trouvait à la place de la bibliothèque. Au deuxième étage et au-dessus de la prison des femmes était placée la prison militaire. Les travaux d'aménagements ont dû être menés rapidement. En 1835, alors que les membres de la bande à Mina sont arrêtés et internés, la prison de Gaillac compte vingt détenus, dont trois prévenus, treize condamnés, ainsi que deux autres hommes et une femme (Soriano (dir.), 2013, p. 179-180).

En 1836, des latrines et un aqueduc de dégorgement sont établis et certains travaux sont menés sur les sols du cachot et d'une salle. En 1853, la préfecture revend le bâtiment en demandant à la ville de l'acquérir mais la somme demandée est trop élevée et l'adjudication est alors attribuée à deux acquéreurs, Guirral et Calmels (AM Gaillac, DFL227, Viviès (de), p. 5-9). En 1858, le bâtiment est revendu et racheté par Taillefer et Salvy pour le compte de la loge maçonnique de Gaillac. En 1890, le bâtiment est acquis par la société immobilière Orion qui le conserva jusqu'en 1908, date à laquelle le bâtiment est acheté par l'hospice de Gaillac.

En 1913, pour aérer la structure urbaine dense du quartier, la mairie décide d'abattre tout un ensemble de bâtiments de l'îlot et notamment les bâtiments ouest et nord de l'hôtel ainsi que le mur de clôture sud. Devant le danger que court l'hôtel, de nombreux opposants réagissent et font appel à des spécialistes pour que soit conservé le bâtiment. Les démolitions sont pourtant rapidement menées (cartes postales AM Gaillac, 1 Fi 1031, 1 Fi 0209 et photographies des travaux, AM Gaillac, 11 S, fonds Calvet) et seul le corps de bâtiments principal en L est conservé. Il est classé au titre des Monuments Historiques le 10 novembre 1921.

Entre 1914 et 1939, le bâtiment abritait deux sociétés musicales et après la Seconde Guerre mondiale, le syndicat d'initiatives s'y tient (AM Gaillac, DFL227). L'ensemble est acheté en 1970 par la commune de Gaillac puis transformé deux années plus tard en musée ethnographique, musée d'Art et Traditions Populaires du Compagnonnage et de la Vigne et du Vin à la demande de Georges-Henri Rivière. Le pignon ouest est restauré en 1994 et le bâtiment abrite les archives municipales depuis 2000. La nouvelle salle de lecture a été aménagée en 2013.