Le château de Quillan est construit en surplomb de l'Aude, à l'est du bourg, qu'il domine. Il est édifié selon un plan carré d'une grande simplicité, typique d'un château bâti ex nihilo. Son enceinte, de 34,50 m de côté, est cantonnée d'échauguettes polygonales (à triple encorbellement en quart de rond). Une tour-porte occupe le centre de l'aile orientale. Large de 8 m, et en saillie sur 5,50 m, elle surmonte une voûte en berceau brisé dotée d'un assommoir et d'une ouverture pour une herse. Le vestige de l'encorbellement d'une échauguette demeure, à l'intersection nord de la tour et de la courtine (L. BAYROU, 1993).

Les courtines, arasées, ont une épaisseur moyenne de 1,80 m : leur parement, partiellement conservé, est en moyen appareil, en partie traité en bossage. Le blocage est constitué des galets de l'Aude, noyés dans un bain de mortier (L. BAYROU, 1993) : il est visible sur la face externe de la courtine orientale, ainsi que sur la tour-porte, ou des effondrements partiels donnent à voir la composition du mur. Au niveau inférieur toutes les courtines sont percées d'archères dont l'ébrasement est couvert par des linteaux sur coussinets ; la courtine méridionale est également percée par une poterne à arc brisé ; la courtine ouest comporte deux larges baies, couvertes par des arcs surbaissés. Le niveau supérieur comporte des ouvertures carrées : une petite au sud, ainsi que deux autres à l'ouest, couvertes par des linteaux ; et trois ouvertures un peu plus larges au nord et couvertes par des arcs surbaissés, dont le bon état est à mettre au crédit des restaurations, notamment concernant les glacis.

La cour du château a été en partie comblée durant la Révolution, afin d'en faire une plateforme de tir pour des canons. Elle est aujourd'hui occupée, dans son quart sud-est, par un château d'eau toujours en activité. Des fouilles archéologiques réalisées dans les années 1990 ont permis de mettre au jour les maçonneries dissimulées par le comblement : si des bâtiments en appentis pouvaient occuper le revers des courtines ouest et sud, il est certain qu'une grande salle d'apparat en maçonnerie, dotée d'une cheminée monumentale occupait la partie nord de la cour. Cette salle basse aurait été couverte par une charpente, soutenue (entre autre ?) par des arcs diaphragmes dont deux départs ont été mis au jour lors des fouilles. Le mur délimitant cette pièce a été dégagé sur trois mètres, lors de ces fouilles, permettant notamment la découverte d'une porte en tiers-point (D. MASO, 2004). La présence de cette salle d'apparat rappelle le rôle du château comme résidence des archevêques de Narbonne, et évoque le plan d'autres châteaux tels ceux d'Auriac ou de Villerouge-Termenès (L. BAYROU, 1993).