Un premier édifice, dont il ne reste aucune trace, a été bâti à la fin du 11e siècle par Raymond de Saint-Gilles, comte de Toulouse.
Le château actuel est une demeure Renaissance présentant une façade fortifiée du 13e-14e siècle. Organisé autour d'une cour fermée, il se compose de deux logis reliés par deux corps de galeries et distribués par une tour d'escalier.
Le corps de galerie sud conserve, au premier étage, un décor au pochoir du début du 17e siècle.
Au 18e siècle, une partie des façades a été mise au goût du jour, et des appartements aménagés dans une partie des logis.
