Vers le milieu du 12e siècle, la fondation d'un prieuré dépendant de l'abbaye bénédictine de Moissac semble avérée. Le choix de Rabastens s'explique sans doute par la richesse de la plaine du Tarn et par la position stratégique de la cité où la route de Toulouse à Lyon franchit le Tarn depuis l'époque romaine. L'édifice roman du 12e siècle est mis à mal au cours de la croisade contre les Albigeois. L'église est reconstruite dans le second tiers du 13e siècle. Au début du 14e siècle, le prieur Bernard de Latour, recteur de l'Université de Toulouse décide d'abattre le grand mur qui fermait la nef à l'est, derrière le maître autel et de faire bâtir le vaste choeur. Ce dernier reçoit sa clé de voûte le 29 juin 1318. Entre 1374 et la fin du 15e siècle, on construit une à une les chapelles qui s'ouvrent entre les contreforts de la nef. Au cours des guerres de religion, l'église est transformée en corps de garde. Sa toiture est détruite, son mobilier, ses statues et son orfèrevrerie sont pillés. Une importante campagne de restauration suit le rétablissement du culte catholique. Elle se poursuit jusqu'au 18e siècle. Rattachée par bulle pontificale (1583) aux collège des Jésuites de Toulouse, l'église de Rabastens devient alors une collégiale. A la Révolution Française, l'église est à nouveau pillée. Rendue au culte quelques années plus tard, elle est restaurée sous la direction de César Daly à partir de 1856. A cette occasion sont découvertes les peintures murales qui avaient disparu à la fin du 16e siècle sous divers badigeons.