L'édifice et ses dépendances occupaient, semble-t-il, tout l'îlot où sont conservés les vestiges : si le plan cadastral de 1811 en exagère l'emprise, les vestiges conservés le placeraient au deuxième ou troisième rang après le château de l'évêque. Les pans de murs et les portes conservés prouvent qu'il s'étendait sur les parcelles 2019 AB 263, 493 et 492, et peut-être sur la parcelle 262.£Les élévations sont en moellons de calcaire soigneusement équarris ou en pierre de taille. Le piédroit et le départ de l'arc d'une porte chanfreinée subsistent au niveau de l'étage dans un mur de refend sur la parcelle 263, deux piédroits chanfreinés dans le mur nord-ouest, et une porte murée dans un mur entre les parcelles 263 et 493 ; celle-ci est à arêtes vives et les claveaux non extradossés de son arc brisé sont longs et étroits, des caractères qui pourraient en faire un des vestiges les plus anciens du castrum.