Face à l'accroissement de la population, en 1854, la décision est prise de mener des travaux de développement urbain en créant de nouveau quartiers, structurés autour de nouveaux édifices religieux. Le quartier des patrons protestants à l'ouest de la vieille ville va se structurer autour du temple neuf, tandis qu'au quartier plus populaire du Gravas (au jardin du bureau de bienfaisance des pauvres) est projeté l'église Sainte-Marie l'Immaculée. Bien que jugée excentrée par certains habitants qui s'en plaignent, la mairie maintient cet emplacement car l'église sera ainsi "d'un accès facile aux quartiers les plus populeux, exclusivement occupés par la classe ouvrière (Bénéjeam-Royer, p. 7). Les plans de l'église dressés en septembre 1860 par Camille Bodin-Legendre, inspecteur des édifices diocésains du Tarn, et approuvés par le préfet en août 1863, font état autant du futur bâtiment religieux que d'un quartier à lotir, au nord, sur un tracé orthonormé.
L'église est en service en 1869. L'année suivante, le conseil municipal émet le voeux qu'elle soit érigée en paroisse de canton de deuxième classe "au vu des sacrifices que la commune s'est imposée pour sa construction et au vu du style remarquable de l'édifice" (Bénéjeam-Royer, p. 10). Deux architectes de Castres, Barthe (architecte de la ville) et Valette ont aussi proposé des projets pour lesquels ils ont réclamé rémunération à la municipalité.
L'auteur du maître autel est Nelli, sculpteur à Carcassonne (délibérations du conseil municipal, 1868). Deux vitraux monuments aux morts ont été placés dans les bras du transept en 1921. Les vitraux des fenêtres des collatéraux sont signés des moines artistes de l'abbaye d'En Calcat (Dourgne) et datés de 1949.
