La fondation d'un couvent de carmes à Pavie est décidée en 1305 par Jean 1er, comte d'Astarac, et approuvée par une bulle du pape Clément V le 3 juin 1306. Elle est confirmée en 1308 par une nouvelle bulle qui accorde au comte la permission d'établir un couvent avec une église, un clocher, un cimetière et tous les bâtiments nécessaires aux religieux. La construction du couvent débute probablement à la suite de cette autorisation.£Néanmoins, bien qu'aucun document ne vienne l'attester, plusieurs éléments visibles sur le mur sud de la chapelle semblent indiquer l'existence d'un bâtiment antérieur à la fondation du couvent. Ce bâtiment, construit à l'alignement de la rue, pourrait avoir appartenu aux comtes d'Astarac puisque les terrains nécessaires à l'implantation du couvent furent donnés par le comte Jean 1er d'Astarac. Ainsi, les deux fenêtres quadrangulaires à larges chanfreins situées au premier niveau, plusieurs corbeaux et les vestiges d'un cordon d'appui, dont la moulure en tore s'apparente davantage à un décor d'une architecture résidentielle qu'à celui d'une architecture liturgique, semblent relever de cette première phase. En revanche, plusieurs parties du mur sud de la chapelle, du mur sud du bâtiment le jouxtant à l'ouest qui fut peut-être à usage de salle capitulaire (H. Teisseire, 1997), le clocher et le mur gouttereau nord de la chapelle appartiennent à la campagne de construction du couvent au début du 14e siècle. La porte en arc brisé chanfreiné, situé dans le prolongement du mur nord de la chapelle, dans l'axe du portail de gauche, date également de cette période. Il en est peut-être de même du chevet, dont la maçonnerie se distingue nettement de celle de la nef.£Les bâtiments ont profondément été remaniés par la suite et en partie détruits. Il n'en subsiste aujourd'hui que l'ancienne chapelle et une partie des bâtiments conventuels. Différents vestiges de portes et de fenêtres, notamment des croisées, visibles sur les anciens bâtiments conventuels (maison d'habitation et ancien presbytère) sont datables de la fin du 15e siècle ou du 16e siècle. Les sources ne nous renseignent sur les travaux effectués au couvent qu'à partir du début du 17e siècle. Un mémoire de la communauté des Carmes datant de 1605 précise ainsi que cette dernière a procédé à la reconstruction de l'enceinte occidentale et fait édifier trois guérites. L'une d'entre elles est conservée rue des Carmes. D'après J. de Mastron, l'orage du 21 février 1617 avait fortement endommagé le clocher et la nef de l'église, qui ne fut alors restaurée qu'imparfaitement.£Les nombreux inventaires du 18e siècle mentionnent les travaux effectués dans le couvent, qui n'abrite en 1730 que trois religieux (Lapart, 2010). En 1741-1742, la toiture de l'église et du dortoir, un tiers de la toiture du clocher et deux angles du pigeonnier sont réparés. En 1745 sont remis en état deux autres angles du pigeonnier, les poutres dans le cloître et les murailles du jardin. En 1748, on couvre le pigeonnier et la moitié du clocher et de l'église. Deux façades de la maison sont restaurées la même année. Le cloître (situé au nord-ouest de l'église, en partie visible sur le plan cadastral de 1810) a été démoli avant 1766. Il est par la suite utilisé comme verger. Un puits et deux portes en pierre de taille y sont réalisés dans les années 1770.£De nombreux aménagements sont réalisés dans les bâtiments conventuels durant la seconde moitié du 18e siècle. D'après l'inventaire du 7 juin 1790, le couvent comportait une chambre du prieur, six autres chambres, une cuisine, une salle à manger, une cave, un cuvage, un bûcher, l'église, un clocher, un corridor et des dépendances. Les voutes de la chapelle ont déjà disparu à cette date. Le couvent peut alors accueillir sept religieux.£Les bâtiments (couvent, église, parc, cloître et jardin) sont vendus comme bien national le 7 juin 1791 à Castera, demeurant à Auch. En 1811, les bâtiments conventuels ouest (D 324) ne forment qu'un seul bâtiment. L'ancienne chapelle est utilisée comme grange. Le 29 septembre 1834, la Commune acquiert des héritiers Cézérac une partie de l'ancien couvent pour servir d'école primaire et au presbytère (bâtiment jouxtant à l'ouest la chapelle). Durant la première moitié du 20e siècle, la chapelle, propriété du comte Dillon, maire de Pavie, est ponctuellement utilisée comme salle de spectacle. Rachetée par la mairie en 1996, elle est restaurée en 2006-2007 à l'occasion de l'aménagement de la Maison de la culture de Pavie. La chapelle est ainsi divisée en deux niveaux, le premier étant occupé par la salle de conférence Bernard IV d'Astarac, le second par la médiathèque. L'ancien presbytère est occupé par différentes salles de réunion.