En son état actuel, le palais n'a que deux corps, l'un en rive de rue et l'autre faisant retour côté est, de deux niveaux chacun. Cependant, divers indices donnent à penser que l'ensemble, sans doute inachevé, prévoyait une extension en quadrilatère. Il ne reste aucun vestige de l'escalier d'origine qui montait à l'étage. Il était extérieur et les traces de la galerie de bois qui distribuait les deux corps du bâtiment, côté cour, sont parfaitement identifiables. Malgré l'étroitesse de la rue, le corps d'entrée s'impose à la vue par la rupture d'échelle que ses hauts niveaux et ses immenses percements produisent dans ce quartier aux maisons de gabarit plutôt modeste, ainsi que par la puissante masse de la tour carrée qui le surmonte, coiffée de son comble en pavillon. Son bel appareil régulier ajoute encore au relief exceptionnel de l'ouvrage. L'entrée du palais, timbrée aux armes de Pouget, se trouvait exactement à la base de la tour. A l'origine, le corps d'entrée comportait deux à l'origine deux niveaux, exceptionnellement hauts. Au niveau de la rue se trouvait une vaste salle basse qu'éclairaient des fenêtres en abat-jour. Le second niveau englobait en élévation la totalité de l'espace sous comble. Le toit était à pentes douces, en bonne tradition latine. Une salle de 26 mètres de long en occupait tout l'espace, se poursuivant dans la tour, créant ainsi un espace donnée pour la chapelle du palais. Le pavillon couvrant la tour, est revêtu de lauzes. La charpente est à trois fermes parallèles portant le faîte et deux croupes. En sous-sol, sommairement excavée à même le socle rocheux, une cave s'étend sous celui-ci qu'un puits vertical, ayant eu fonction probable de monte charge, reliait au niveau immédiatement supérieur.