Au 16e siècle, un domaine agricole fortifié assurait la sécurité de plusieurs métairies environnantes pendant les guerres de Religion. Il servit d'étape et éventuellement de refuge aux voyageurs entre Saint-Pons-de-Thomières et La Salvetat-sur-Agoût. Construit par la famille de Brugayroux, le château de Gransagnes est passé entre de nombreux propriétaires au fil des siècles, notamment l’Office national des forêts qui l'utilisa en colonie de vacances. Désaffecté, il fut pillé et menaçait ruine au début du 21e siècle. Il a été restauré par son propriétaire depuis 2012.