Le château Saint-Privat se trouve à côté de la chapelle inscrite parmi les Monuments historiques. Saint-Privat, qui doit son nom à une famille de chevaliers, les Saint-Privat, était l'une des trois paroisses de Flaugnac. Cette branche de chevaliers s'éteignit au 14e siècle avec Magne qui se maria avec Bertrand de Cas, chevalier de la châtellenie de Caylus. Les Gontaud de Lalbenque succédèrent aux Cas puis vinrent les Fenelo de Parisot. Ce repaire médiéval côtoyait l'ancienne église paroissiale autour de laquelle s'était constitué un hameau de quelques maisons, protégé par une enceinte attestée en 1398. Le lieu de Saint-Privat comprenant une église, un repaire et diverses parcelles avec droit de basse justice, cens et la moitié des dîmes fut racheté à Fenelo en 1477 par Guillaume de Montagut. C'est ce dernier, curé de Saint-Privat, qui fut à l'initiative des embellissements effectués dans l'église et la maison forte à la fin du 15e siècle.
De plan rectangulaire, les façades du château bâties en bel appareil de moellons calcaires conservent de nombreux vestiges de l'ancienne maison forte des 13e et 14e siècles (la motte de Séguy) dont deux portes en tiers-points ainsi que des fragments d'impostes et d'appuis appartenant à une fenêtre géminée médiévale.
Le château fut remanié à la fin du 15e siècle comme de nombreuses constructions médiévales touchées par la guerre de Cent Ans. Selon un parti architectural alors en vogue, un escalier fut aménagé à l'intérieur d'une tour circulaire flanquant la façade principale. Des croisées en pierre, aujourd'hui obturées, ouvraient les façades sur l'extérieur. Différentes fenêtres et croisées aux encadrements lissent indiquent que l'édifice fit également l'objet de remaniements au 17e siècle.
