L'édifice occupe la pointe nord-est du castrum, en forte saillie sur l'escarpement qui domine la vallée du Lot. Les ruines qui subsistent ne correspondent probablement qu'à la principale partie résidentielle d'un ensemble plus vaste. Elles dessinent un bâtiment de plan à peu près carré de 15 m de côté environ, divisé en deux parties inégales par un mur nord-sud.
Le pignon de l'élévation nord indiquerait qu'un toit à longs pans en forte pente couvrait la partie orientale de l'édifice, qui en serait le corps principal. Les deux murs nord et est conservés sur presque toute leur hauteur, semble-t-il, permettent de restituer deux niveaux sur un étage de soubassement. On accède au niveau de soubassement par une porte à arc brisé et chanfreinée ouverte dans l'élévation nord, du côté de la vallée. Il est couvert d'une voûte en berceau appareillée portée par un arc doubleau. (F. Lacoste, 1909, p. 18, lui attribue "d'immenses caves, profondes, solidement voûtées.")
Le rez-de-chaussée ouvrait sur la vallée par une baie à réseau et linteaux ornés de trilobes, encadrée par deux lancettes hautes couvertes par des linteaux échancrés en trilobes ; une seconde baie à réseau, semblable à la première, était prise dans un massif de maçonnerie, dont la fonction n'est pas connue, dans l'angle nord-est. Des corbeaux et des trous d'encastrement laissent entendre que les poutres du plafond étaient disposées nord-sud, nécessitant la présence d'un arc médian.
L'étage était sans doute occupé par la salle, ou « aula », qui pouvait être sous charpente ou bien plafonnée. Dans l'élévation nord une petite cheminée était encadrée de deux fenêtres à réseau semblables à celles du rez-de-chaussée. L'élévation est conserve les vestiges d'une grande cheminée dont le foyer était pris dans l'épaisseur du mur, avec un coffre et un conduit rectangulaire en saillie sur l'élévation extérieure ; la pièce prenait jour de ce côté par une fenêtre à réseau semblable aux autres mais placée haut et donc dépourvue de coussièges, et par deux baies hautes en lancette.
La continuité des assises et de la retraite de maçonnerie de l'élévation nord indique que le corps de bâtiment ouest est bien contemporain du corps principal, et qu'il possédait également un étage, ce que confirment les vestiges d'une porte conservés dans le mur de refend ; sa toiture à un pan pouvait être dans le prolongement de celle du corps principal. S'agissait-il d'un corps de galerie ? Les photographies dont nous disposons ne nous permettent de reconnaître qu'une baie haute en lancette couverte par un linteau échancré en trilobe placée à côté d'une grande baie rectangulaire.
Une véritable étude des vestiges conservés permettrait sans doute de préciser bien des dispositions de l'édifice médiéval.
