Le château est compris à l’intérieur d’une enceinte polygonale construite entre les 11e et 12e siècles en petit appareil, percée de meurtrières ainsi que d’une bretèche sur triple console (pierre de taille). Développé sur la partie la plus haute de Mosset, il est construit sur un plan rectangulaire et dispose d’une grande cour intérieure, dite « El Plaçal » et d’une seconde cour de taille plus réduite, « La Cavalleria ». Celle-ci donnait accès aux écuries et granges du seigneur, remaniées aux 19e et 20e siècles. Les granges transformées en habitation ou en garage, possèdent pour certaines des baies à encadrement et linteaux en bois bruts. Leur maçonnerie est en moellons de pierres locales liés à de la chaux ou recouvert d’un enduit au ciment.
L’édifice est composé d’un rez-de-chaussée sur quatre niveaux, défendu aux angles par des poivrières. Celle située à l’angle Sud-Est en pierre de taille, est de forme demi-circulaire et repose sur une console conique. Les façades sur cour correspondent aux actuelles habitations n°4, 5, 7 et 8. Elles se développent sur un rez-de-chaussée et deux niveaux supérieurs, transformés au cours de la période moderne par reprise de la volumétrie de certaines baies, même si certaines d’entre elles conservent des encadrements à claveaux en pierre de taille (marbre blanc).
Les portes de rez-de-chaussée ont une largeur importante et sont encadrées de matériaux divers. Celle du n°4 est surbaissée et constituée de cayrous. La clé de l’arc en marbre blanc, porte l’inscription gravée « 1893 G.S », qui pourrait correspondre à la période de remaniement et au nom du propriétaire. Au n°5, la porte est formée d’un encadrement en pierre de taille (marbre blanc) de forte épaisseur, qui présente des traces d’enduits sur la face intérieure. Enfin, les n°7 et n°8 ont des entrées plus ou moins récentes, délimitées par une maçonnerie en pierre sèche (n°7) et un linteau en bois (n°8). La baie du dernier niveau relative au n°8, conserve un appui mouluré en marbre pouvant être daté des 16e et 17e siècles.
La façade Est comprend quatre travées de baies ordonnancées, dont plusieurs d’entre elles conservent des encadrements en pierre de taille (granit et marbre blanc). Plusieurs remaniements ont été effectués postérieurement, dont le percement de nouvelles baies et l’ajout de garde-corps en fonte.
Actuellement, les toitures sont en appentis et en tuiles canal.
