Gerbert de Rampoux hommage à Alphonse de Poitiers, en 1259, pour tous ses biens dont le repaire de Mazerac (C. Didon, 1996). Au milieu du 15e siècle, le fief est possédé par les Saint-Gily qui l'accensent en douze pagésies en 1451 : la tour est mentionnée à l'occasion du guet qui est imposé aux habitants en cas de péril (J. Lartigaut, 2000). En 1504, Nicaise de Saint-Gily, sieur de Saint-Pantaléon, dénombre, parmi d'autres biens, une maison noble à Mazerac (L. d'Alauzier, 1984). Les Saint-Gily ne sont plus mentionnés en 1681, quand Jacques Victor de Clermont vend le domaine à Antoinette Boysson, veuve Roques ; au début du 18e siècle, Mazerac appartient à une famille de robe du Gourdonnais, les Marsis.
La tour peut dater de la première moitié du 13e siècle, et pourrait avoir été construite pour Gerbert de Rampoux. Le logis a été ajouté après la guerre de Cent ans, à la fin du 15e siècle ou au début du siècle suivant, en même temps qu'était percée une fenêtre au premier étage de la tour. La date de 1774 inscrite sur le linteau d'une fenêtre correspond sans doute à la reconstruction, presque totale, du corps de logis.
