La chapelle Saint-Roch serait construite en 1861 comme l'indique la date portée sur la clef de voûte. Elle vient remplacer une ancienne chapelle qui était située sur les berges du Lot, à la sortie orientale du village. Cette dernière est détruite lors de l'aménagement de la route n°13 allant de Cahors à Figeac (parc. 1812 D 1470) vers 1842.

La chapelle est reconstruite sur le Pech de Clary, juste au-dessus du château dit des Anglais, grâce à la volonté de deux hommes, Bernard Brunet, un négociant, et Jean-François Dolique, le curé de la paroisse. Brunet est un négociant aisé, habitant à Laroque-des Arcs, il se fait construire dès 1864 une imposante maison de maître dans le village (parc. 2017 AB 116). Les deux hommes ont eu à cœur de redonner au village un édifice dédié à saint Roch, dont le culte est important au 19e siècle.

En 1873, Brunet se sépare de la chapelle et d'une partie du bois figurant sur la même parcelle (parc. 1812 D 1492). Plus tard, en 1908 et 1911, le gendre de Brunet, Théophile Faurie abandonne une autre partie de la même parcelle à la commune.