En 806, le comte de Toulouse Guillaume décide de se retirer dans un vallon où se trouve une petite dépendance de l'abbaye d'Aniane. Il y instaure le culte de la Vraie Croix dont son cousin Charlemagne lui avait donné relique. Après sa mort, en 812, c'est sa personne, ensevelie dans la crypte, qui attire les pélerinages.

Sont préromans, la tour saint Martin accolée à l'angle sud-ouest de l'église, les murs de la première travée de la nef, et la crypte.

Le monastère est reconstruit sans doute à partir de 1030 ; l'autel majeur est consacré en 1076. En 1090, le pape Urbain II donne son indépendance à Gellone en l'érigeant en abbaye.

Au 12e siècle, édification d'un narthex (gimel) et d'une nouvelle façade. Le cloître, qualifié de nouveau en 1206, est doté d'un étage au milieu du 14e siècle. En 1449, une tour est édifiée au-dessus de la façade, pour des raisons de défense.

En 1465, arrive la commende et l'amorce du déclin, du fait que les abbés ne résident plus systématiquement sur place.

En 1569, l'abbaye est prise par les protestants, et ruinée. Les Mauristes sauvent les lieux, d'abord en les restaurant, à partir de 1632, puis en y résidant (1644).

Mais l'abbaye est supprimée en 1783, sur l'instigation de l'évêque de Lodève. La Révolution provoque la ruine des bâtiments et leur transformation en filature et en tannerie. Les pierres du cloître sont récupérées. De nombreux éléments provenant de ce cloître sont aujourd'hui conservés au musée des Cloîtres à New-York. L'administration des monuments historiques stoppe la destruction en 1840.