Manaud de Clergue est mentionné comme seigneur de Linardié dans un document judiciaire daté de 1402. Dans le compoix de 1672, François de Clergue est recensé comme possédant à la Linardié : "chasteau, jardin, prés, terre, bois, vigne, escurie, ?, pigeonnier, basse cour, sol et pature". Il possède également une maison dans le hameau de la Linardié. La famille de Clergue, famille de noblesse de robe, resta propriétaire du château jusqu'en 1823. A cette date, Félix-Joseph-François de Rességuier vendit la propriété, dont il avait hérité de sa grand-mère Marie-Anne de Clergue, à Abraham Mercadier, négociant à Senouillac. Sa descendante, Mme Birot, l'a légué à sa mort à la commune de Senouillac, à laquelle la Ville de Gaillac s'est substituée pour transformer le lieu en une galerie d'art contemporain qui a fait long feu.
Le château a été très transformé au cours de son histoire. Il reste à l'intérieur, peut-être du 15e siècle, dans la partie sud-ouest, certaines ouvertures anciennes, une cheminée monumentale ainsi que l'escalier à vis. Les ouvertures extérieures ont été en revanche largement repercées aux 18e (élévation est et partie gauche de l'élévation sud) et 19e siècles (partie droite de l'élévation sud). Les portes-fenêtres desservaient sans doute une terrasse sur l'élévation sud. Lle parti d'ensemble a été très modifié : le cadastre de 1828 présente ainsi une aile parallèle à la route, flanquée de deux tours circulaires et au nord-est de laquelle venait se greffer une aile en S (parcelle 745), qualifiée de bâtiment rural. L'ensemble dessinait une cour ouverte en direction de l'ouest : l'accès se faisait par un portail en brique à l'ouest, dont les vestiges sont désormais pris dans la végétation. Cette première aile des dépendances a complètement disparu au 19e siècle, sans doute au moment où la tour sud-est a été entièrement reconstruite selon un plan rectangulaire. Des nouvelles ailes de dépendances ont également été construites, à l'ouest et au nord, dessinant un plan en U. Ces deux ailes sont désormais largement ruinées et il ne reste du château en élévation que l'aile sud. D'après Georges Barthes, celle-ci comptait deux niveaux au moment de la vente de 1823. Les niveaux intérieurs ont été l'objet d'une modification dont témoigne notamment un élément de porte muré à l'ouest. Le niveau de la cour a pour sa part été surélevé car l'accès primitif se faisait par un perron.