Suite à son accession au pontificat et l'accroissement consécutif de son train de maison, Innocent VI est contraint de procéder à l'extension de sa résidence villeneuvoise. Audouin Aubert, son neveu, entreprend aussitôt d'acquérir des terres à l'est du palais cardinalice, en vue de procéder à cette extension entre 1352 et 1353. Il faut attribuer à ce moment la construction des appartements du pape, du consistoire, bâtiment communément appelé de nos jours le grand tinel, et de la chapelle Saint-Jean-Baptiste, dont le décor est réalisé par Matteo Giovannetti au cours des années 1355 et 1356. Peut-être est-ce à la même époque qu'est réalisée la cave dite du Pape, et aménagée une cachette supposée abriter les objets précieux du pontife.