Les archives situent parfaitement les limites du clos de Canilhac sur le cadastre : il s'étend sur plusieurs hectares entourés d'un mur d'enceinte de la colline, par endroits haut de plus de 6 mètres, bâti en moellons où l'opus spicatum alterne de façon aléatoire avec un appareil irrégulier. Le palais a été établi dans la région nord de la parcelle. Au parti du manoir isolé, on a préféré celui du palais urbain, réservant le reste de la parcelle à la chasse ou à la promenade. Sur plus de 90 m s'étirent les corps de bâtiment du palais. Une tour-porte, dominait les bâtiments avant d'être abaissée à une époque récente. Depuis le premier étage, une vis contenue dans une tourelle hors-œuvre hexagonale, distribuait des niveaux hauts, évoquant, en plus modeste, les tourelles dominant la maîtresse porte de l'opus novum d'Avignon. Au nord de ce corps vertical, est accolé un bâtiment de près de 27 m de long, ayant tous les caractères des corps des palais cardinalices de cette période, à un seul étage sous comble et une seule grande salle par niveau. Deux autres corps de bâtiment s'assemblaient au précédent en retour d'équerre. Celui du midi, aujourd'hui disparu, contenait la chapelle. Une grande composition peinte à sujet de chasse ornait les murs de la pièce d'étage du corps d'entrée, la chambre de parement. Déposée en 1939, fragmentée en plusieurs panneaux et dispersés. Les parentés iconographiques de ces décors constituent une analogie de plus, avec les ouvrages d'Avignon.