La ville de Saint-Affrique est fondée au Ve siècle par Africanus ou Affric, ancien évêque de Comminges. L'église est placée sous la protection de saint Sernin ou Saturnin. L'agglomération qui se développe autour est déjà désignée en 942 comme vicaria sancti Affricani. Elle relève de la seigneurie de Caylus, dont le château domine la ville au nord sur le rocher du même nom. En 1238, Raymond VII, comte de Toulouse et suzerain du seigneur de Caylus, prend le château. Il accorde la même année des coutumes et franchises à la ville. Les consuls veilleront par la suite valide confirmer à plusieurs reprises ces privilèges par les rois de France. Au milieu du 14e siècle, les remparts seraient érigés pour protéger la ville des troupes anglaises et sur ordre du frère et commandant du roi pour le Languedoc et le Rouergue, le comte Jean. La Réforme gagne tôt Saint-Affrique et un premier temple est construit en 1562. Plate-forme protestante à partir de 1580, la ville résiste au siège de l'armée royale en 1628. Les fortifications sont démantelées sur ordre de Richelieu à partir de 1632. Le développement économique de Saint-Affrique (industrie de la peau et de la laine) à l'Epoque Moderne assure la prospérité de la ville qui devient chef-lieu de district en 1790 et sous-préfecture de l'An VIII à 1926.