La première installation des Clarisses à Lavaur remonte à la fin du 14e siècle. En 1398, une bulle papale autorise l'établissement d'un monastère de Clarisses, que l'on nommait généralement à cette époque les "Minorettes". Elles s'installent au sud de l'enclos des Cordeliers, dans le quartier de la rue des Mounasses, un toponyme qui rappelle leur présence. Il ne reste rien de ce premier établissement, et la communauté semble disparaître au milieu du 15e siècle. Ce n'est qu'au milieu du 17e siècle qu'une moniale du monastère des Clarisses Urbanistes du Salin à Toulouse, la Révérende Mère Sérène de Vésins, choisit Lavaur pour fonder un couvent. La communauté est fondée le 6 novembre 1642. Elle s'installe cette fois au plus près du Plô, à l'emplacement de l'actuelle médiathèque, après l'achat de plusieurs maisons particulières, le plus souvent en mauvais état. Après la Révolution, l'ensemble de ces bâtiments est vendu au titre des biens nationaux, et l'église est démolie. La communauté se reforme en 1802 autour de cinq soeurs, grâce au soutien de l'abbé Alexandre Mazas, ancien vicaire de Saint-Alain. Elle s'installe à l'emplacement actuel, dans l'îlot compris entre les rues Villeneuve, de la Mairie et Jouxaigues, d'abord dans des maisons particulières. Dès leur réunion, les Clarisses rouvrent un pensionnat. Le saint habit et la clôture sont rétablis en 1829.
La chronologie de l'évolution des bâtiments, élevés pour l'essentiel tout au long du 19e siècle, ainsi que les événements marquants de la communauté peuvent être établis à l'aide des Chroniques du monastère (originaux conservés aux Archives diocésaines d'Albi, publiés par D.-M. Rivals, 2012) et du registre des achats et dépenses extraordinaires qui relate les principaux temps forts de la construction du monastère (Archives diocésaines d'Albi, Q VII 15). L'abbesse Sainte-Agnès, nommée à la tête de la communauté en 1833, impulse une première grande campagne de travaux qui détermine l'organisation du monastère. En 1835, est achetée la grande maison du 18e siècle appartenant à M. de Boisredon de Galembert qui occupe l'angle des rues Villeneuve et de la Mairie (parcelle 1826 B 788). La construction de l'église, du chœur des moniales et des sacristies est aussi lancée cette même année. L'église est consacrée en mai 1837, année où le peintre italien Ceroni, actif avec son frère sur d'autres chantiers vauréens, travaille à un premier décor, aujourd'hui perdu. Dès cette première phase de travaux, un plan général du monastère a été établi et les campagnes suivantes s'attachent à le mettre en oeuvre. Un architecte dénommé Bégué est aussi rémunéré en 1835 et en 1840 (Chroniques du monastère, p. 70, note 1, d'après le registre des achats et dépenses extraordinaires), lorsque commence la deuxième grande campagne de travaux avec l'édification des bâtiments conventuels, en particulier la construction de l'aile occidentale de la cour et de l'aile nord du cloître. La première accueille au rez-de-chaussée le réfectoire et l'infirmerie et à l'étage la salle capitulaire (plus tard transformée en bibliothèque), le noviciat, trois cellules pour les soeurs distribués par un large couloir. L'aile nord du cloître superpose à la galerie dix cellules à l'étage. Cette aile sera prolongée pour accueillir cinq cellules supplémentaires et autant d'arcades, en 1900. Le grand mur de la Grande rue Jouxaigues est aussi édifié en 1840 tandis que le grand portail destiné à l'entrée des charrois sera reconstruit en 1862.
En 1852, l'architecte Bégué est à nouveau rémunéré quand est construite la petite chapelle dédiée à sainte Clémentine, implantée à l'angle de la nef de l'église et du choeur des moniales, pour accueillir les reliques de la jeune martyre romaine dont la translation se fait à Lavaur cette même année.
À partir de 1858, l'ancienne maison Boisredon connaît à son tour des transformations ; elle est exhaussée d'un étage pour accueillir de nouvelles cellules, réservées aux dirigeantes de la communauté. Dans les mêmes années (1859 et 1863), l'escalier ouest de cette première maison est aménagé. Cette maison est chère aux moniales car plusieurs soeurs y avaient été recluses pendant la Révolution, en 1793. Aussi, elles souhaitent en garder le souvenir en peignant les deux grandes inscriptions commémoratives qui rappellent les noms des soeurs emprisonnées et en baptisant ce couloir "le corridor des martyres". À ce moment, la communauté compte 35 soeurs.
L'abbesse Sainte-Thérèse de Jésus, nommée en avril 1868, préside, l'année suivante, à l'ajout de la galerie de cloître terminée par un nouvel avant-choeur venant ainsi élargir l'aile située entre la cour et le cloître. En 1870, se fait l'aménagement de la chapelle du Sacré-coeur, au premier étage de l'aile nord. L'aile du noviciat, sur la rue Villeneuve, en retour de la maison de Boisredon de Galembert, est élevée en 1875, venant ainsi fermer la cour intérieure. Un an auparavant, le monastère était relié à l'eau courante, établie à Lavaur cette même année.
L'oratoire Notre-Dame de la Salette a été construit en 1876 et la grotte de Notre-Dame de Lourdes en 1884, accueillant au pied le tombeau de la mère abbesse sœur sainte-Thérèse de Jésus.
Entre 1941 et 1943, les peintures du plafond de l'église sont refaites par le peintre Néra.
Si les soeurs ont été jusqu'à 90 ou 100, les trente dernières années de l'occupation du monastère, elles étaient seulement trois ; elles vivaient principalement dans l'ancienne maison Boisredon. Le monastère a fermé ses portes en décembre 2023. Les bâtiments été donnés au diocèse d'Albi, en 2026.
