Si la tour-pigeonnier semble appartenir à l'époque médiévale, les autres bâtiments annexes seraient d'époque moderne.
Dans le roman de Ferdinand Fabre (Les Courbezon p. 26), il est dit qu'en 1791 : "la Société Populaire de Bédarieux incendia le château à Saint-Xist distant d’une centaine de mètres à peine du prieuré".