Au sein de l'ensemble troglodytique, le "château des Anglais" proprement dit mesure environ 28 m de long pour une largeur n'excédant pas 2 m ; une cour étroite précédée par un ouvrage fortifié flanqué d'une tour en fer à cheval précédait la tour d'escalier au sud. L'ensemble a été établi sur un léger replat (une vire) protégé par un surplomb du rocher. Les bâtiments qui le composent sont en grande partie ruinés. Les différents ouvrages sont en calcaire, extrait au pied des falaises environnantes, ainsi qu'en tuf. Différents lieux d'extraction sont encore identifiables. L'un d'entre eux se situait au-delà de la muraille qui barre au nord l'ensemble fortifié.

La construction primitive occupe la partie centrale de l'édifice. Il s'agissait d'un bâtiment rectangulaire, de 11,60 x 2 m (moyenne), aux murs épais de 1,15 m environ dont la partie nord a disparu en grande partie. Il comportait deux étages sur rez-de-chaussée. C'est une construction très soignée dont les trois élévations bâties présentent des assises régulières de moyen appareil calcaire. Les planchers des étages reposaient sur de gros cordons en quart de rond, parfaitement insérés dans la maçonnerie des trois élévations maçonnées. Côté falaise, à l'ouest, des trous d'encastrements carrés attestent que les solives du plancher du premier étage étaient ancrées directement dans la roche. Le plancher du deuxième étage reposait sur un ressaut taillé dans la roche. Aucun vestige des liaisons verticales antérieures à l'adjonction de la tour d'escalier n'a pu être identifié. A l'exception de la grande fenêtre qui ouvrait sur son élévation est, aucune des commodités utiles à une fonction d'habitation (latrines, évier ou cheminée) ne semble avoir existé. L'association d'un dispositif de guet (ouvrage en encorbellement) et d'une porte haute, de même que celle d'une grande fenêtre au dernier niveau, rappellent ici les dispositions d'un certain nombre de tours féodales de la première moitié du 13e siècle.

Le corps de bâtiment ajouté au nord comportait deux étages sur rez-de-chaussée, chaque niveau étant porté par une poutraison encastrée directement dans l'élévation orientale (sur une retraite pour le deuxième niveau) et dans la paroi rocheuse (côté ouest). Contrairement à la "turris", ce bâtiment disposait de certaines des commodités liées au confort de l'habitation et notamment d'une cheminée et de latrines, lesquelles conduisent à l'interpréter comme un logis.

L'analyse des maçonneries laisse penser que ce logis a subi une reconstruction importante après le Moyen Age. En effet, bien qu'il ne soit pas possible de les circonscrire parfaitement, les nombreuses ruptures et différences de matériaux que l'on décèle conduisent à y voir au moins deux campagnes de travaux distinctes. La première phase de construction est caractérisée par ses maçonneries homogènes en moyen appareil de calcaire régulièrement assisé. Ces maçonneries régulières sont essentiellement présentes dans les parties inférieures du logis et pourraient dater de la fin du 13e siècle ou des premières décennies du siècle suivant. Le logis aurait ensuite connu une phase de remaniement à laquelle il semble que l'on puisse attribuer le dernier étage. La demi-croisée du premier étage est l'un des éléments significatifs qui caractérisent cette reprise et qui permet de l'attribuer au 15e ou au 16e siècle. Cette seconde campagne de travaux se distingue de la première par ses maçonneries irrégulières, constituées d'un blocage de moellons bruts ou remployés. Il semble que les joints en mortier de terre rouge visibles par endroit soit attribuable à cette phase de travaux.

La tour d'escalier en vis a été accolée au sud de la "turris" afin d'en desservir les trois niveaux. Ses maçonneries de blocage, assez régulièrement assisées, sont constituées de moellons éclatés mêlés à des plaquettes de calcaire. Le tuf a également été utilisé soit en parement soit pour les ouvertures (allèges et piédroits). La tour affecte extérieurement un plan quadrangulaire dont l'angle principal est largement arrondi. La porte d'entrée, dont l'encadrement est souligné par une moulure torique qui se prolonge en accolade délardée sur le linteau, donne accès à un couloir traversant la tour pour rejoindre l'ancienne porte d'entrée du bâtiment primitif. De l'escalier lui-même ne subsiste que le soubassement et l'arrachement des marches. La partie sommitale de la tour d'escalier était couronnée par une ceinture de mâchicoulis.

Au 15e siècle, la défense de l'entrée sud du château était assurée par un espace libre tenant lieu de barbacane. Un mur percé d'une porte fermait cette barbacane au sud, à seize mètres environ de la porte de la tour d'escalier. Une tour de plan arrondi, dont les soubassements sont encore visibles, flanquait cette porte côté vallée