Dès 1322, un texte fait état du palais qu'Arnaud de Via s'est fait construire. Deuxième étape, le cardinal remembre plusieurs terres au sud de sa demeure pour y bâtir la chapelle, entre 1327 et 1333. La chapelle est consacrée le 1er juin 1333, par son oncle, le pape Jean XXII. La création du porche d'entrée, à l'est, est autorisée par le roi le 1er avril 1334. Un an après le cardinal meurt et est enseveli dans sa chapelle. Arnaud de Via fonde un chapitre de chanoines qui héritent de ses biens. Dès 1336, les chanoines construisent le cloître entre l'église et le corps de logis du palais. Puis, ils changent l'orientation de l'église en ouvrant une nouvelle porte vers le sud. En 1540, création de la chapelle du Saint-Esprit dans le cloître. L'architecte Jean-Baptiste Franque intervient sur les bâtiments entre 1732 et 1749. A la révolution les biens sont confisqués: le corps de logis du palais et les terres situées à l'arrière sont vendus, la chapelle devient quant à elle l'église paroissiale de Villeneuve.