Un habitat antique a pu être repéré sur le territoire et le vocable de l'église, Saint-Saturnin, renvoie à une fondation ancienne, pouvant être issue du Haut Moyen Age ou de l'époque carolingienne. Pourtant, la première mention de l'église paroissiale n'apparaît dans les textes qu'en 1150 (G. Bes, 1978, p. 9). L'église, perchée sur un petit promontoire rocheux, n'a pas été, dans un premier temps, à l'origine d'un habitat regroupé. La formation du village d'Escoussens découle naturellement de l'implantation et la construction du château à la fin du 12e siècle. En effet, en 1185, le vicomte d'Albi et de Béziers, Roger II de Trencavel, autorise Raymond, seigneur de Dourgne, à bâtir le château d'Escoussens (T. Azémar, 1899, p. 133). En avril 1187, la seigneurie est divisée en trois co-seigneurs : Raymond de Dourgne, Pierre de Tripol et Unaut del Gua et Bernarde sa femme. Dans l'acte, il est question de toute la seigneurie d'Escoussens mais aussi du château "lo castel" et du "barri" (C. Brunel, 1926, p. 224, texte 232). Le choix du site pour le nouveau "castrum" s'explique non seulement par ses capacités de défense naturelle mais aussi parce que l'église paroissiale se trouvait en place. Le château s'établit sur un site d'éperon barré, un tertre naturel de 85 m de long sur 50 m de large. L'esplanade du château a pu accueillir un premier habitat mais le noyau villageois s'établit à ses pieds, en dehors de l'enceinte. Il s'installe dans l'alignement de l'accès au château sous la forme de deux îlots bordant la voie d'accès avec des équipements communautaires tels que le four. L'habitat regroupé va se développer progressivement. En 1290, il est question du "claustram dicti loci" à l'intérieur duquel se trouve le "fortalicium" (A.D. Tarn, H 190). L'acte mentionne le "castrum", les murs et les portes. Le village s'est établi selon un tracé concentrique, suivant les courbes de niveau. Il est possible de déceler plusieurs phases. L'enceinte villageoise est régulièrement mentionnée dans les textes aux 15e et 16e siècles. Lorsque les Chartreux de Saïx acquièrent la totalité de la seigneurie d'Escoussens au début du 16e siècle, en 1506-1507, après un siècle et demi d'une longue politique d'acquisition, ils édictent une charte des libertés et franchises en 1515 (T. Azémar, 1899). La fin du 15e siècle et le début du 16e siècle se traduisent par une période florissante à travers laquelle émergent des chantiers de reconstruction d'importance comme ceux du château et de l'église ou une période de construction dans l'architecture civile intra et extra muros. Au 17e siècle, l'habitat colonise progressivement les pentes situées en vis-à-vis de l'église paroissiale et une fontaine est élevée au bord du ruisseau de Bernazobre. En 1695, la population agglomérée d'Escoussens comptabilise 354 personnes (A.D. Tarn, H 213). Le 18e siècle, période de développement économique dû à l'essor de l'activité textile, se traduit par une extension urbaine notable. La halle est construite en 1737 et les constructions qui bordent la place révèlent une période de reconstruction. Il n'est plus question d'enceinte et de grandes maisons s'élèvent à son contrebas et dans le nouveau quartier qui voit le jour le long du ruisseau. La fin du 18e siècle et la première moitié du 19e siècle sont une époque où se poursuit le mouvement d'extension urbaine, sur les pourtours, le long du ruisseau, le long du chemin de Prat-Marivalle, à l'est, sur la plateforme du château. En 1832, le village compte 590 habitants (P.-L. Bouysset, 1977, p. 48). La 2e moitié du 19e siècle et la 1ère moitié du 20e siècle sont une période de récession démographique mais les constructions continuent à coloniser les abords, au nord-est dans la 2e moitié du 19e siècle, en contrebas de l'église, "extra pontem" dans la première moitié du 20e siècle. Cette période est marquée par les aménagements et constructions publics : aménagement du réseau hydraulique avec l'installation de trois fontaines en 1860, place de l'Hôtel de Ville, place de la Halle et "Derrière la ville" (A.C. Escoussens), construction d'une école publique double en 1878 (A.D. Tarn, 2 O 84/1) et celle de la mairie en 1912 (A.D. Tarn, 2 O 84/1).