Le prieuré, placé sous l'autorité de l'abbé de Chancelade, est fondé le 9 juin 1647 par l'évêque de Cahors Alain de Solminihac. La construction des bâtiments conventuels est commencée quelques années plus tard sur un terrain nouvellement acquis. Le bâtiment principal et le cloître sont peut-être bâtis quand, le 7 novembre 1653, est posée la première pierre de l'église qui n'est cependant achevée qu'après la mort de l'évêque survenue en 1669. Le bâtiment principal est alors augmenté vers le nord et on lui ajoute une aile destinée aux communs. A la Révolution l'édifice est affecté au casernement, puis devient le siège du grand séminaire de 1808 à 1817, et de nouveau de 1831 à 1906. En 1832, la Ville fait surélever d'un étage le bâtiment principal et rétablir la couverture de l'église, qui s'était effondrée en 1830. L'église est restaurée en 1868 par l'architecte diocésain Jean-Baptiste Tourrette, qui confie le décor peint intérieur et le nouvel autel à l'artiste cadurcien Cyprien-Antoine Calmon. Un projet d'agrandissement présenté par Tourrette est refusé en 1879. L'architecte propose un nouveau projet en juillet 1881 : le corps principal est prolongé vers le nord et l'aile nord reconstruite un peu plus loin, à proximité de la nouvelle rue des Cadourques, de 1881 à 1885.