Le bâtiment a été implanté en retrait et en coeur de parcelle, ses principales façades sont orientées vers l'est et l'ouest. Sur la rue (de la République), un corps d'entrée, avec un passage voûté d'ogives portant à leurs clefs les armes du cardinal, défendu par une bretêche, contrôlait l'accès à la parcelle. Le corps de logis possède un sous-sol, un niveau de rez-de-chaussée et un étage carré sous comble. L'accès à l'étage se faisait à l'origine, par un escalier droit disparu après la création du cloître dans la cour du palais. Il a été remplacé par un escalier en vis. Vers la campagne ce corps avait une porte qui était défendue par une bretêche. Parmi les éléments remarquables que ce corps de logis possédait se trouvaient, au sud, une tour qui le dominait, détruite, et une toiture à pente très forte dont ne subsiste de nos jour que le pignon nord.