L'histoire de cette demeure est liée à celle de la famille Oustau, famille renommée d'industriels tarbais, représentée par Laurence Oustau (1835-1929) qui, avec deux amis, fonde en 1873 l'usine de briqueterie et céramique Oustau et la dirige jusqu'à sa mort.
Avec sa famille, Laurence Oustau habite d'abord pendant 43 ans une maison modeste proche de l'usine. Le 23 février 1910, époque où la production de l'usine est en plein développement, Laurence Oustau acquiert de Jean-Marie Despaux un grand terrain, à quelques centaines de mètres de l'usine, pour édifier une villa qui corresponde au niveau de vie d'un riche industriel.£Un projet daté du 1er juin 1910 et signé par l'architecte Saubusse n'est pas retenu. Il faisait la part belle au style régionaliste : tourelles, toits à forte pente et débordant sur aisseliers en bois, appareil réticulé, véranda vitrée, décoration sophistiquée. Seules les écuries, fonctionnellement reliées à l'usine, seront construites sur ses plans en 1911, dans un style éclectique.
Le projet choisi pour la ville est dû à Paul Louis Gély, jeune architecte d'une trentaine d'années tout récemment diplômé. La construction est commencée en juin 1911 et s'achève deux ans plus tard. Dans sa mise en oeuvre sobre annonçant l'esprit du mouvement Architecture moderne, le bâtiment fait largement appel aux matériaux produits par l'usine : briques polychromes, pierre artificielle, carrelages muraux de céramique émaillée.
Le décor intérieur comporte des boiseries moulurées et une ornementation en céramique émaillée constituant le catalogue d'une partie de la production de l'usine, produite en partenariat avec le peintre paysagiste pyrénéen Lucien Gros. Le travail de ferronnerie (baies, cage d'escalier) est dû au serrurier tarbais Grabot. Il a aussi réalisé la grille d'entrée.
Parallèlement à l'usine restée en usage jusque dans les années 1990, la demeure, ses dépendances et son jardin sont restés dans la même famille jusqu'à la fin du 20e siècle.
En 1992, la villa et son jardin sont acquis par la municipalité afin d'y installer un centre culturel (bibliothèque, école de musique). La villa et son décor ont été respectés par les aménagements consécutifs mais la construction d'un auditorium enterré sous le jardin a nécessité la disparition de l'ancien jardin d'hiver situé contre la façade est. La terrasse correspondante a été agrandie sur plusieurs mètres.
