La première mention de Verdalle, qui vient de l'occitan Verdala (verdâtre) et caractérise les prés et les bois des environs apparaît seulement en 1153, lorsqu'il est question du « castrum de Verdala » (Le Pottier (dir.), 1990, p. 533-534). Les Trencavel, vicomtes de Carcassonne et d'Albi, sont alors en pleine possession de leur pouvoir. Ils se réservent de larges droits sur les « castra » lorsqu'ils passent des baux à fiefs, comme celui de Verdalle à Isarn de Puylaurens et à Pierre, seigneurs de Dourgne (Biget, 1997-2002, p. 67, 71). Cette inféodation se situe dans un contexte plus général dans lequel le vicomte Trencavel gratifie pour sa fidélité le seigneur de Dourgne, en lui octroyant de nouvelles possessions : Verdalle, Montcuq puis Escoussens. Lors de cette première mention, il est question non seulement d'une tour, de murs, de fossés mais aussi de maisons (« ibi in turribus vel muris, vel fossis, ., mansionem ». HGL, T.V, col. 1140).. Le village fortifié de Verdalle, dans lequel prend place le château, s'est probablement développé lors de l'abandon du site de Contrast. Le noyau primitif du village, appelé « Le Fort » est constitué d'un alignement de maisons reprenant le tracé de l'enceinte établi sur un plan en demi-couronne. Il forme un front continu, qui était secondé par un fossé, sur lequel ont été aménagées à l'époque moderne les allées. L'emprise du fossé est identifiable sur le plan cadastral de 1833, à l'emplacement du canal de dérivation du ruisseau du Sant. Peu de vestiges de l'époque médiévale sont encore visibles dans le noyau primitif mais l'emplacement de la porte sud-ouest est conservé. Le compoix de 1606 mentionne une motte castrale, expression la plus ancienne du château, au sein du village. Elle était située face au porche, établi sur l'emplacement d'une porte de l'enceinte. A la fin du Moyen Age, l'habitat sort des murailles et vient s'établir, face à la porte, au carrefour des deux voies principales de circulation, la route de Saint-Jean et la route des Moulins. La structuration du noyau primitif est bouleversée lors de la construction d'une nouvelle église dans le Fort en 1692, à l'emplacement du premier château. Encore possession du seigneur au début du 17e siècle, le terrain est acquis par la communauté dans la deuxième moitié du siècle pour y construire une église afin de répondre à la croissance démographique. Au 17e siècle, l'habitat s'installe progressivement le long de l'axe majeur établi entre la plaine et la montagne, parallèlement au front bâti du noyau primitif. La conquête du 18e siècle s'opère le long de cet axe en direction du sud. Révélatrices d'une certaine prospérité, les demeures présentent une longue façade sur rue rythmée par plusieurs travées et sont dotées d'un grand jardin à l'arrière. Au terme du 18e siècle, les nouvelles constructions ont gagné les marges sud. Une date de 1785 est gravée sur une porte de jardin dans le nouveau quartier. Le village s'organise désormais le long de l'axe nord-sud. D'un côté, l'habitat regroupé à l'intérieur de l'enceinte, maintenant percée par de nouvelles façades, que viennent accompagner des îlots connexes ; de l'autre, le faubourg s'établit entre les carrefours de la rue de Contrast et de la route des Moulins. A la fin du 18e siècle, après le percement de la nouvelle route établie sur l'axe est-ouest reliant Revel à Castres, l'habitat s'élève rapidement sur le côté sud. Perpendiculaire à la première voie, la route devient une avenue qui est colonisée dans la deuxième moitié du 19e siècle pour l'essentiel. Dans la première moitié du 20e siècle, les constructions s'établissent sur les pourtours de l'agglomération.