La chapelle a été élevé sur l'emplacement d'une ancienne tour dont les vestiges sont encore visibles à la base du clocher (pierre calcaire taillée en gros appareil régulier). La première mention connue de ce bâtiment date de 1390. Il appartenait alors à la Confrérie du Saint-Esprit qui l'occupa jusqu'en 1552. Après les guerres de Religion, les Pénitents blancs s'y installèrent (1637). Ce sont eux qui donnèrent à la chapelle l'aspect qu'on lui connaît aujourd'hui à l'exception du clocher. Chassés en 1792, les Pénitents reprirent possession des locaux qui avaient été transformés en atelier de fabrication de salpêtre, en 1810. En 1816, ils firent élever le clocher, mais le nombre de leurs membres diminua progressivement et la confrérie disparut.
En 1936, le curé de la paroisse fit transporter à l’église Saint-Julien le mobilier religieux qui subsistait et transforma la chapelle en local pour les scouts. Depuis cette date, la chapelle a connu diverses affectations. Elle a servi de refuge et d'hôpital pendant la Seconde Guerre mondiale. Elle servit au Secours National pour les distributions alimentaires entre 1951 et 1971. Elle fut ensuite transformée en salle de cinéma puis abandonnée jusqu'à son rachat par la municipalité pour le franc symbolique en 1987. Elle abrita la bibliothèque municipale à la fin des années 1990 avant de servir de salle de réunions, de lieu d’exposition et de bureau de vote.
