L'ensemble du château est dominé par une tour de plan carré construite sur le roc, qui correspond probablement au donjon de l'ancien château fort d'Arreau, connu sous le nom de château de Ségure, propriété des comtes de Labarthe. Ce château était situé en position stratégique, à la jonction des 2 vallées d'Aure et du Louron. Un document de 1489 en fait mention parmi les places fortes de la région avec Bramevaque, Cadéac, Sarrancolin et Tramezaïgues. Un texte d'archives indique que le "vieux chasteau de Ségure" fut abandonné vers 1530, à la suite d'une épidémie de peste. A la fin du 16e siècle, le domaine de Ségure appartenait à noble Arnaud de Gourgue, capitaine, de Beyrède. En 1594, le domaine est acheté par Jehan Fornier, docteur en droit et lieutenant de la judicature d'Aure. Les descendants de Jehan Fornier conserveront des responsabilités judicaires locales jusqu'en 1757, date à laquelle le comte Jean-Louis-Hector Galiay de Ségure résigne la succession pour entrer dans la carrière militaire. En 1786, le même comte de Ségure propose au ministre de la guerre de fonder un hôpital et une école à Arreau, qui seraient installés dans ses châteaux du Camou et de Ségure. Au début du 19e siècle le domaine de Ségure appartient à Jean-Philippe Rolland, notaire à Arreau, également propriétaire du "château de Camou". Le château de Ségure a été légué au département des Hautes-Pyrénées en 1983 par Mme Maratuech.