A proximité de l'édifice actuel existait une chapelle et un hospice dépendant de l'Ordre de Saint-Jean-de-Jérusalem, connus sous le nom de Notre-Dame-du-Bouchet. La chapelle était le siège d'une confrérie placée sous le même patronage, attestée aux 17e et 18e siècles. C'est là également que se réunissait le syndicat pastoral des Quatre Véziaux gérant le domaine indivis des 4 communautés d'Ancizan, Cadéac, Grézian et Guchen. En 1789 l'hospice servit de lieu de réunion lors de l'élection des députés du Tiers-Etat. Les bâtiments anciens disparurent vers 1793. La chapelle actuelle a été reconstruite entre 1944 et 1946, à l'initiative de prêtres locaux.