Cette chapelle aurait été construite sur l'ordre du seigneur de Vésole. La tradition veut qu'une partie du trésor de la cathédrale de Saint-Pons y ait été caché lors des guerres de religion du 16e siècle. Les ruines encore hautes ont été rasées après les années 1920, lors de la construction de la route du barrage. Une ancienne description indique « qu'il reste encore des vestiges. On y voit toujours le pesquié et le bésal qui alimentait l'hort de l'ermite ». Aujourd'hui, le bassin-étang (pesquié) d'arrosage et le canal (bésal) du jardin (hort) sont difficilement lisibles.