D'après la tradition historique le château aurait été construit au 12e siècle par le comte d'Aure Sanche-Garcie en même temps que les châteaux de Tramezaïgues (canton de Vielle-Aure) et Labarthe. Dans son état actuel le château est datable du 13e siècle. A partir de 1608 il sert de prison pour les villages de la vallée d'Aure à l'exception de la haute-vallée desservie par le château-prison de Tramezaïgues. Les habitants de Cadéac et des autres villages doivent s'y relayer en cas de besoin, pour assurer la garde et le guet. En 1626 le château fait l'objet d'une inspection par le vice-sénéchal d'Armagnac. Consolidé en 1707, il fut désaffecté à la fin du 18e siècle. En 1792 ses matériaux servirent à la construction d'un hôpital à Arreau.