La ville s'étend hors de la première enceinte dès 1250. L'accroissement de la ville entraine l'implantation de nouveaux barris à savoir : le barri du Trauc, vers Notre-Dame et le barri de la Peyre, vers le Rocas. Au milieu du 14e siècle, la ville double ainsi sa superficie et les nouvelles constructions occasionnent l'érection d'une deuxième enceinte ou "mur neuf" pour la distinguer de l'ancienne, "mur vielh" (IA82116157). Aux Archives départementales, la copie d'un prix-fait daté de 1355, fixant les modalités pour la construction de ces nouveaux murs est conservée. Ce document donne des détails sur la forme de l'enceinte, les entrepreneurs, les maçons... La fortification se poursuit entre le Rocas et la porte d'Albi dix ans plus tard. En 1366, l'enceinte compte alors quatre portes. Il s'agit, d'est en ouest, de la porte basse du Rocas, la porte d'Albi, la porte de l'église et la porte neuve (IA82116000). L'enceinte est démantelée au cours des Guerres de religion. Aujourd'hui, seuls quelques pans de murs et la porte neuve subsistent à l'ouest du village. L'emplacement des anciennes fortifications suit aujourd'hui une voie de circulation, la "promenade du Ravelin". La porte d'Albi était peut-être précédée d'une barbacane ; elle n'est plus visible.