Située en vicomté de Turenne et relevant de la châtellenie de Gagnac, la seigneurie de Laborie était détenue jusqu'au 18e siècle par une famille originaire d'Auvergne, les Grenier (parfois appelé Garnier au Moyen Age).

D’après G. Lacoste, un certain Jean de Grenier, seigneur de Laborie aurait pris part, en 1215, à la Croisade des Albigeois aux côtés de Louis, fils de Philippe Auguste, mais sans justifications. Dans la monographie de la seigneurie de Merle, il est mentionné le mariage d’Almodie de Merle avec Guilhem Grenier de Laborie, fils de Jean qui testa en 1304. En 1334, Raymond de Grenier rend hommage au vicomte de Turenne pour ses biens de Gagnac, Cahus et Comiac. Il possédait des terres à Comiac (mas de Roudergues).

En 1504, Jean de Grenier, seigneur de Laborie, tient le repaire avec justice basse sous la suzeraineté du seigneur de Castelnau. Dans le 3e quart du 16e siècle, François de Grenier de Laborie épousa Marguerite de Pleaux, héritière des maisons de Veyrac et de Pleaux. Adversaire impitoyable des huguenots, François fut tué dans une embuscade en entrant en son château de Laborie le 14 novembre 1575, laissant derrière lui son fils Henri âgé d’à peine 8 mois. Ses ennemis mettent à sac ses châteaux de Laborie et de Pleaux.

Après s’être mis au service du marquis de Thémines, Henri de Grenier épousa en 1595 Françoise de Saint-Sulpice. Quelques années plus tard, il fit l’acquisition de la châtellenie de Comiac au duc d’Uzès. Comiac appartenait autrefois à la famille de Veyrac mais était passé par mariage en 1601 au seigneur duc d’Uzès.

Par mariage entre l’arrière-petit-fils, Louis-Christophe de Grenier et Marie-Françoise de Montclar-Montbrun en 1711, les possessions des Grenier passent par héritage à la famille de Lagrange-Gourdon de Floirac qui vendirent le château de Laborie en 1772 à trois acquéreurs. Le château fut vendu comment bien national à la Révolution.

La demeure seigneuriale, probablement bâtie à la période médiévale, est endommagée lors des guerres de Religion à la suite de la mort de François de Grenier en 1575 si bien que son fils Henri n’a pu l’occuper, il vécut son enfance en Auvergne avec sa mère. Le château semble entièrement reconstruit en 1600 pour Henri de Grenier, d'après la date inscrite au-dessus d'une fenêtre de la tour d'escalier. La grosse tour ronde, accrochée sur l'angle, est bâtie en moellon de tout venant et pourrait appartenir à une campagne de travaux ultérieure. Le château est restauré pour un certain Matre à la fin du 19e siècle.