La vallée de Larboust était occupée à l'époque Gallo-Romaine comme l'attestent les multiples remplois (pierres sépulcrales, autels...) visible dans les murs de nombreux édifices médiévaux dont l'église Saint-Anne. Primitivement cette église du 12e siècle est a nef unique modifiée à la fin du Moyen Age par l'adjonction d'un collatéral au nord.
En 1783, l'abbé Latour fait rajouter le bas-côté nord avec sa chapelle. En 1898 le bas côté est est prolongé par une nouvelle sacristie masquant la moitié nord du chevet.
Des vestiges de peintures monumentales postérieures à 1783 sont conservés sur les parois de la chapelle nord.