Cet édifice qui appartenait à la famille de Ségure, fut jusqu'au milieu du 18e siècle le siège de la lieutenance principale de la judicature d'Aure (la famille de Ségure a détenu héréditairement cet office de justice entre la fin du 16e siècle et 1757). D'après les dates portées sur les 3 portails, il semble que les parties les plus anciennes de l'édifice remontent à la 1ère moitié du 17e siècle (1600-1640), époque où Jehan puis Dominique Fornier de Ségure occupèrent les fonctions de lieutenant de la judicature. Le bâtiment a été en partie reconstruit au 19e siècle, notamment les fenêtres et la toiture. En 1831 l'édifice appartenait à Jean-Philippe Rolland, notaire à Arreau. A cette date une scierie fonctionnait déjà dans la partie sud du bâtiment, grâce à un bief dérivant les eaux de la Neste du Louron. A la fin du 19e siècle le "château" est devenu propriété de Dominique Calamun qui y développe une importante scierie débitant essentiellement les bois de la fôret de Jézeau dont il possède une partie (112 hectares). Dans les années 1980, la commune d'Arreau a acquis le bâtiment et l'a transformé pour y installer syndicat d'initiative et salles d'exposition. Les nouveaux locaux ont été inaugurés en 1989.