Les deux édifices les plus anciens sont l'église paroissiale (ancienne église du prieuré), partiellement d'époque romane, et la maison médiévale dite tour de la mairie. Le vieux bourg s'est développé sur la rive gauche de la Neste, le long de l'actuelle rue Noire, où subsistent plusieurs maisons à pan de bois datées du 16e siècle. Un document de 1626 indique que le bourg était entourée d'une enceinte en bon état, avec 4 portes ouvrant aux 4 points cardinaux. De cette fortification d'agglomération ne subsiste plus que la porte sud, dite porte Sainte-Quitterie ou porte de la prison. Le bourg du 18e siècle s'étend vers l'ouest le long de l'ancienne route royale d'Auch en Espagne (actuelle rue Royale). Au milieu du 19e siècle la physionomie de Sarrancolin est transformée par le percement d'une nouvelle route à l'ouest de la route royale, traversant le vieux tissu parcellaire de part en part. L'extension du bourg, à la fin du 19e siècle et au 20e siècle, se fait le long de cette nouvelle voie principale (route des Nestes, route d'Espagne). En 1897 Sarrancolin est desservie par la nouvelle voie ferrée Lannemezan-Arreau qui passe sur la rive droite de la Neste, de l'autre côté du bourg. Entre 1930 et 1945 une cité ouvrière est construite dans le quartier des Plantats par la Société de l'Aluminium du Sud-Ouest pour ses employés de l'usine de Beyrède-Jumet. La dernière extension urbaine, depuis les années 1990, part à la reconquête du quartier de la gare, laissé en friche depuis la fermeture du trafic voyageurs (1969).