Le principal des vestiges, est le mur d'un local où est peint le blason de Hugues de La Roche, grâce au blason de celui-ci, fascé-ondé d'argent et de gueules, peint sur l'un des parements intérieurs du corps subsistant. Ce corps de bâtiment est en rive de rue. D'anciens démembrements en ont totalement bouleversé les divisions et l'apparence. Le bloc a été scindé en effet en au moins deux parcelles et les façades, repercées aux 15e et 16e siècles, ont perdu toute lisibilité. À l'intérieur, on reconnaît une embrasure de fenêtre géminée à coussièges, et en façade subsistent plusieurs baies, une porte, deux abat-jour et deux fenêtres bâtardes sous comble, ayant appartenu à la maison d'origine. On trouve aussi sur le site un puits foré dans le massif calcaire et descendant à travers environ trente mètres de roche, jusqu'à la nappe phréatique. Ce puits est peut-être à identifier avec celui de la cuisine de Napoleone, mentionné par les comptes de la Chambre Apostolique. D'autres vestiges sont les deux larges portes appareillées en arc segmentaire se faisant vis à vis sur les deux rives de la rue Montée-de-la-Tour , qu'on semble pouvoir identifier, à la suite de Hervé Aliquot, l'une à l'entrée générale du palais et l'autre à celle des écuries, conformément à la description de l'acte de vente de 1344. Enfin sur la limite occidentale de l'enclos, en rive de rue, subsistent quelques fragments d'un mur de clôture maçonné de moellons, probablement du 14e siècle, duquel part à la perpendiculaire un autre mur semblable se dirigeant d'ouest en est, dévalant l'épaulement de la colline en direction du Rhône et comportant de nombreux éléments assurément du 14e siècle, tels que portes murées etc : nous interpréterions volontiers ce dernier mur comme la limite entre les parties résidentielles du clos, sur le méplat sommital de la colline, et le versant nord de celle-ci.