La ville hors les murs s'est développée à partir du début du 19e siècle au-delà des anciennes fortifications. Elles sont marquées par les fossés, comblés vers 1745 sous l'impulsion de l'intendant Lescalopier, pour la création des boulevards. En 1830, les faubourgs se répartissent autour de principales voies de communication : la rue du Barry, avec le faubourg du même nom ; à proximité du pont Lerouge et du pont vieux, appelé faubourg du pont ; le long des boulevards du quai, en bordure du Tarn ; autour de la rue du Rajol qui conduit à la rivière et au-delà, vers la rue de la Fraternité, dans le faubourg des ouliers ; et enfin autour des routes partant du Mandarous, vers Paris (actuelle avenue Jean Jaurès) et vers Rodez (actuelle avenue de la République). La voie ferrée est crée au début du 20e siècle, fixant une limite à l'expansion de la ville à l'ouest. De nouvelles percées voient le jour à partir du milieu du 19e siècle comme le boulevard Gambetta, en 1855. La croissance de la ville s'est traduite par une spécialisation des sols par rue ou par quartiers. Les immeubles de luxe se situent le long des artères conduisant à Rodez et Paris (sous-préfecture, banque Villa, banque de France, Crédit Lyonnais, hôtels particuliers de la Musardière) ; les mégisserie et tanneries aux abords du Tarn (quai de la Mégisserie, de la Tannerie, rue Antoine Guy, rue de la saunerie etc.). La rue Alsace-Lorraine voit la construction de nombreuses maisons bourgeoises datées de 1888 à 1896. Dans la première moitié du 20e siècle, la ville se développe vers le nord avec la création de nouvelles voies de communication transversale, orientées est-ouest, avec la rue de Planard, la rue Alfred-Guibert (belles maisons bourgeoises), la rue des Lilas (en rapport avec la loi Leloucheur).