Le castrum est cité pour la première fois en 1176 : à cette date, agglomération et château furent cédés à Raymond V, comte de Toulouse ; ils entrèrent dans le domaine royal en 1271. Du château, il ne subsiste qu'une tour ruinée, de la 1ère moitié du 14e siècle, entourée d'une enceinte au tracé irrégulier. Un inventaire établi en 1351 mentionne une tour ronde, diverses pièces, un portique, une chapelle et une enceinte crénelée. Durant les 16e et 17e siècles, diverses réparations furent effectuées : la charpente de la tour et de son échauguette furent refaites en 1618 notamment, néanmoins, le château était encore qualifié de vieilles masures en 1640 lorsqu'il fut acquis par les consuls de Caylus.