Les premiers documents parlant de l'église Saint-Jacques sont datés de la seconde moitié du 10e siècle. L'édifice apparaît dans le testament de Raymond, vicomte de Béziers en 969.

Un texte de 1053, relatif aux plaids dans le diocèse sous les évêques Bérenger et Barnada mentionne la présence d'un abbé de Saint-Jacques. Cette église est par conséquent l'ancienne abbatiale d'un monastère de l'ordre de Saint-Augustin dont le premier abbé fut Aimeri, vivant en 908. L'un des abbés, Arnaud de Levezou, fut élevé en 1096 au siège épiscopal de Béziers, qu'il occupa jusqu'en 1121. Il devint alors archevêque de Narbonne et mourut en 1149.

La fin du 11e siècle et le début du 12e siècle semble correspondre à l'apogée de la puissance de l'abbaye, probablement en lien avec le pèlerinage vers Compostelle.

On ignore si l'abbaye fut ravagée par le sac de 1209. Elle semble être supplantée par l'abbaye Saint-Aphrodise pendant les siècles qui suivent

Au 15e siècle, l'abbaye était à moitié ruinée. En 1664, fut introduite la réforme de la congrégation de France, substituant aux cénobites des chanoines réguliers de Sainte-Geneviève.

D'importantes transformations ont lieu au 18e siècle : construction de deux chapelles ; édification d'une voûte en briques sur la nef (1772) ; aménagement dans le goût classique des supports et des arcades. Sous la Révolution et l'Empire, l'édifice abrita un atelier de fabrication de baïonnettes.

En 1828, allongement de la nef à l'emplacement de l'ancien cimetière. En août 1960, l'incendie de l'orgue entraîna des travaux qui mirent au jour colonnes et chapiteaux à caractère roman, ainsi que charpentes et peintures murales cachées par les travaux de 1772.