C'est « dans la salle neuve de monseigneur l'abbé, au-dessus de la citerne » que les prudhommes de Rocamadour reçoivent la charte de privilèges octroyée par Bernard de Ventadour en 1223, salle qui doit être située dans l'aile orientale du palais : ce que l'on connaît du bâtiment médiéval peut en effet appartenir à une construction du début du 13e siècle. Les fenêtres du corps de passage ne sont probablement que de peu postérieures. L'édifice est la résidence des abbés, lors de leurs visites à Rocamadour, puis des évêques de Tulle à partir de la création du nouveau diocèse en 1317.
Le bâtiment conservait les traces d'aménagements opérés après la guerre de Cent ans, mais, malgré quelques réparations au 17e siècle, il était abandonné et en ruines au milieu du 18e siècle. En dépit des élévations encore debout et des réserves exprimées en 1865 par la Société Française d'Archéologie sur les récents travaux de restauration, l'évêque de Cahors Alfred Grimardias opte pour une reconstruction à neuf en conservant aux bâtiments « leur caractère et leur physionomie » (Rocacher, 1979, p. 179).
Les démolitions sont commencées à la fin de l'année 1868, et le gros-œuvre, déjà bien avancé en 1870, date de l'inscription placée au-dessus de la porte d'entrée, est assurément achevé en 1872, quand Jean-Baptiste Chevalt quitte Rocamadour (Rocacher, 1979, p. 180). Quelques aménagements intérieurs sont réalisés au cours des années suivantes, mais l'édifice ne sera jamais habité par l'évêque de Cahors qui a fait du château sa résidence de prédilection.
