Le château a été construit sur le site d'une ancienne grange de l'abbaye cistercienne de Lagarde-Dieu (commune de Mirabel, Tarn-et-Garonne) pour Jean Ramond de Folmont (fils de Pierre Ramond, seigneur de Folmont et sénéchal du Quercy), qui en a été le premier abbé commendataire de 1464 à 1506, date de sa mort (Gallia christiana, 1715). Les armoiries de l'abbé figurent au-dessus de la porte de l'escalier. Pauliac aurait été longtemps la résidence de villégiature des abbés de Lagarde-Dieu. Deux états des lieux dressés en 1760 et 1770 décrivent cependant des bâtiments en mauvais état et un château depuis longtemps inhabité : charpentes, planchers et escalier en vis en bois sont pourris, des croisées sont bouchées tandis que d'autres ont perdu leur meneau, et toutes les fenêtres ont perdu vitres et volets, tous les carrelages sont à refaire, le logement des métayers, les communs, la chapelle menacent ruine (de celle-ci, il ne reste plus que deux murs dix ans plus tard) (L. Bourrachot, 1954). Après avoir été pillé en 1790, le château a été vendu comme Bien national.£Le changement d'appareil dans la partie supérieure de la tour d'escalier signale sans doute une surélévation des Temps modernes.