La terre de Gaudiès appartenait au début du premier millénaire à l'évêque de Toulouse qui accorda, en 1001, une charte aux habitants. Au Moyen Age, Gaudiès est l'une des 5 baronnies de l'évêché. Des éléments de fortification ont existé avant le 12e siècle, mais c'est en 1280 que l'évêque Bertrand de l'Isle-Jourdain fait débuter la construction d'un édifice autour d'une église datant de la 1ère moitié du 12e siècle. La construction, achevée au début du 14e siècle, est entourée de fossés et comporte 4 tours d'angle dont l'une est constituée de la ""prison des prêtres"". A la fin du 14e siècle, des maisons sont construites dans la cour par la population. Les 15e et 16e siècles sont marqués par les troubles des guerres de Religion au cours desquelles les tours et les murailles sont endommagées. En 1568, le cardinal d'Armagnac vend le château. En 1584, la famille de Lévis en devient propriétaire, et ce jusqu'en 1840, à l'exception de la période révolutionnaire. Au cours du 4e quart du 16e siècle, Jean-Claude de Lévis fait détruire les maisons du 14e siècle dans la cour, réparer le logis et construire un pavillon à la française accolé à une tour carrée à l'ouest. Les travaux sont achevés par sa fille Elisabeth, une pierre de la muraille ouest porte la date du 17 avril 1599. En 1620, Henri de Lévis-Mirepoix devient seigneur du château, et pendant 10 ans, le fait restaurer en conservant son système défensif. Il ouvre 40 fenêtres géminées au logis qu'il aménage, restaure le pont-levis, fait construire à l'emplacement des maisons du 14e siècle un bâtiment destiné à la récolte du raisin, accolé à la grosse tour ronde, et pose de nouvelles toitures agrémentées de génoises multiples. De 1727 à 1740, Joseph-Christante de Lévis fait abattre la tour ronde ruinée, le tinal, le pavillon du 16e siècle et une partie des ailes encadrant la cour. Il prolonge le corps de logis sur les fondations de la tour ronde orientale actuellement visibles dans la cave. Ces traces constituent, avec les bases des tours carrées et rondes de l'enceinte, les plus importants témoins de l'édifice médiéval. De la 1ère moitié du 17e siècle subsistent la façade nord avec des fenêtres à meneaux, la prolongation orientale du logis et le pont-levis. De la fin du 17e siècle, l'édifice a conservé son aménagement intérieur et sa façade sud reconstruite en 1697 par Joseph Grégoire avec les pierres récupérées de la démolition des ailes latérales. Le château est restauré de 1967 à 1996, un cadran solaire et de nouveaux percements sont en particulier réalisés.