Le castela conserve le plus grand souterrain aménagé du Moyen-Age connu du Tarn. Il s'étend sur près de 140 mètres et creusé dans la roche de motte castrale du castela.
L'histoire du souterrain est indissociable de celle du château. Les galeries sont creusées au pic de fer et présentent des parois lisses et des voûtes régulières. Cette finesse a nécessité un grand savoir-faire et donc des moyens financiers importants.
Il est peut être construit en partie au 11e ou 12e siècle, cependant, la situation économique de Saint-Sulpice ne permettait pas de financer la construction du château, alors, il en est de même pour les souterrains.
Il est possible qu'il soit creusé ou aménagé au milieu 13e siècle en même temps que la construction du château par Sicard Alaman.
Les avis divergent sur la fonction des différentes salles mais la fortification de l'entrée primitive, à l'ouest, indique la volonté défensive lors de l'aménagement du souterrain. L'entrée était protégée par une fosse piège et par deux portes. Les vastes salles indiquent que les souterrains servaient de lieux de stockage. La présence de puit démontre néanmoins la possibilité de refuge en cas d'attaque.
£Une seconde entrée est percée au 17e siècle au nord et donne accès à l'Agout et au moulin qui s'y trouvait avant l'installation de l'usine électrique.
Les souterrains sont utilisés tout au long de l'histoire, son utilisation par Jeanne de Boulogne au 15e siècle pour fabriquer de la fausse monnaie reste une légende plausible mais sans justifications. Abandonné au 19e siècle, il sert de lieu de vie à la jeunesse de Saint-Sulpice si l'on en croit les nombreux graffitis gravés sur les parois.
Bien qu'inondées par la crue de 1930, les galeries sont restées en assez bon état. Le site fait l'objet de fouilles archéologiques dans la seconde moitié du 20e siècle pour être ouvert au public. Le site du castela est partiellement inscrit Monuments Historiques en 1994.
Un second souterrain est creusé sur environ 15 mètres dans le versant oriental de la motte. Bouché, il ne donne pas d'indication sur sa fonction, il passerait au-dessus du premier souterrain, mais il n'y a pas de traces connues de communication entre les deux souterrains.
