De l'ancienne abbaye cistercienne seuls subsistent quelques vestiges englobés dans l'actuelle ferme. L'origine de ce monastère est une communauté de moines venus d'Obazine dans le premier quart du 12e siècle, et fixée au lieu-dit Saint-Martin-d'Esarmac. Vers 1130, l'évêque de Cahors, Guillaume de Calmont a donné à Obazine la forêt dite d'Eisartens, qui s'étendait de Piquecos à Molières. Le monastère est passé sous la dépendance de Cîteaux en 1147, en même temps que l'abbaye d'Obazine. Etienne d'Obazine déplaça en 1150 le monastère primitif dans la vallée du Lembous, sur la paroisse de Viminiès. Le nouvel établissement prit dès lors le nom de La Garde-Dieu ("Guarda-Dei ou Custodia-Dei"). En 1181, le comte Raymond V de Toulouse accorda à La Garde-Dieu une importante donation, consistant dans les fiefs de Viminiès, d'Esparsac et du moulin de la Lande, acquis de l'abbaye de Saint-Géraud d'Aurillac et du prieuré de Cayrac contre la grange de la Boissonie. L'acte a été dressé dans l'église de Molières. En 1250, le pape Innocent IV a promulgué une bulle qui a mis sous sa protection les biens de la Garde-Dieu, soit les églises de Viminiès, de Flays, de Saint-Pierre de Cieurac, de Saint-Martin, de Saint-Christophe ; les granges des Eisartens, de la Coste, de Paulhac, de Fonmorilhes ; les dîmes de Saint-Victor ; les possessions au lieu-dit des Mailhols ; les moulins de La Lande et de Bossac et les rentes de l'abbaye dans la ville de Bordeaux.
Force est de constater que la documentation existante est muette sur l'histoire de l'abbaye entre 1250 et le milieu du 15e siècle. Toutefois, l'examen des photographies de la salle capitulaire, prises en 1897, permet d'attribuer sa réalisation au milieu du 13e siècle, tout comme la porte de communication entre le cloître et l'église (aile nord) ou les peintures murales de la sacristie. De même, l'examen d'un blason (écu écartelé d'une croix et d'une cloche avec un orle crénelé) sculpté sur un culot engagé, situé à l'angle du transept sud de l'église abbatiale, visible sur une photo de 1895, permet d'attribuer cette pierre à l'abbatiat d'Arnaud de Raymond, abbé entre 1327 et 1334. Il se pourrait donc qu'une campagne de reconstruction ou de restauration de l'église abbatiale et des bâtiments monastiques ait eut lieu dans la seconde moitié du 13e siècle, puis à nouveau dans la première moitié du 14° siècle. Ces travaux, et les grandes dimensions de l'église abbatiale, que l'on peut supposer au vu du bras sud du transept encore debout en 1895, ont nécessité des moyens importants. Il apparaît donc que l'abbaye de La Garde-Dieu n'était peut-être pas si peu importante que l'on a bien voulu l'écrire dès le 19e siècle.
En 1464, l'abbaye est mise en commande et attribuée à Jean de Ramond, également abbé de Saint-Marcel. Jean des Prés, protonotaire apostolique, a été nommé abbé comandataire en 1506. Une clé de voûtes à ses armes, retrouvée sur le site de l'abbaye en 1985, indique qu'il a dû, lui-aussi, jusqu'à la fin de son abbatiat en 1517, contribuer à restaurer le monastère.
L'abbaye de La Garde-Dieu a été pillée par les troupes protestantes en 1569 et en grande partie détruite. Il aurait subsisté au moins le transept de l'église abbatiale et une partie du choeur, la sacristie, la salle capitulaire et une partie du cloître. Au début du 17e siècle, les moines ont repris possession des lieux et ont réparé sommairement les bâtiments monastiques, transformant le transept de l'abbatiale en chapelle, aménageant des dépendances agricoles à l'emplacement de la nef et des chambres dans l'ancien dortoir, au-dessus de la salle capitulaire. Un inventaire des biens meubles de 1699 montre un monastère assez pauvre, avec un mobilier très réduit, y compris pour les objets à usage liturgique.
A partir de 1707, l'abbé Henri de Briqueville de La Luzerne, évêque de Cahors, a entrepris de reconstruire à ses frais une nouvelle chapelle, un cloître, un nouveau réfectoire et un mur de clôture avec des pavillons d'angles. En 1730, la majeure partie des vestiges de l'ancienne église abbatiale se sont écroulés, sauf le bras sud du transept.
En 1760, puis à nouveau entre juillet 1770 et janvier 1771, des experts ont procédé à une estimation des réparations à effectuer à l'abbaye mais également aux églises et aux métairies qui en dépendaient. Des travaux ont été entrepris en 1771 et réceptionnés l'année suivante. Le 3 juillet 1789, les religieux de l'abbaye (au nombre de 3) ont été déboutés par le Grand Conseil du Roi de leur demande d'obliger l'abbé Charles de Malartic à reconstruire l'église abbatiale. En 1790, l'abbaye de La Garde-Dieu a été supprimée par les lois révolutionnaires. Les bâtiments ont été vendus comme bien national et achetés pour servir d'exploitation agricole.
En 1864, des religieux cisterciens venus de l'abbaye de Sénanque ont acheté le domaine pour s'y installer et recréer ainsi une communauté religieuse. Non reconnu par le régime impérial, les moines ont été rapidement contraints de quitter les lieux, mais en ont conservé la propriété et ont continué à exploiter les terres agricoles. Le chanoine Pottier, à l'initiative, semble-t-il, du retour des Cisterciens en 1864, a décrit les bâtiments de l'abbaye en 1865 lors du Congrès archéologique de France. Une campagne de photographies a été réalisée par la Société archéologique de Tarn-et-Garonne en 1895. Deux ans plus tard, en 1897, un incendie a ravagé l'ancienne abbaye. Des photographies ont également été prises huit jours après. Ces images, d'une immense valeur, permettent de comprendre et d'analyser les constructions de la structure générale au détail de la sculpture. Après l'incendie, le domaine a été revendu par les religieux de Sénanque.
En 1908, les chapiteaux de la salle capitulaire que l'incendie de 1897 avait épargnés, ont été vendus à un antiquaire de Toulouse. L'ancienne abbaye sert aussi de carrière de matériaux. Plusieurs fermes ou dépendances des alentours (communes de Mirabel, Molières) sont construites avec les briques de Lagarde-Dieu et des fragments de piédroits ou des clés d'arc en calcaire sont réemployés ça et là.
Une campagne photographique a été entreprise en 1971. Peu de temps après, une grande partie de l'aile sud, avec notamment le réfectoire du 18e siècle, a été détruite. Le logement des propriétaires de l'exploitation agricole est alors construit à l'extrémité ouest de l'aile sud. En 1984, ce fut au tour de l'aile orientale de subir une nouvelle démolition : salle capitulaire, sacristie. Les pierres sculptées (notamment la porte de communication entre l'église et le cloître) ont été dispersées dans plusieurs collections privées du département.
