Au Moyen Age, le premier village de Durfort, le castrum du Castlar, était situé à 450 m d'altitude environ, sur un site dominant la plaine. Le Castlar a probablement été fondé par la volonté des puissants seigneurs de Roquefort, co-seigneurs des lieux avec le tout aussi puissant abbé de Sorèze en 1141 (Pousthomis-Dalle, 2005). Le Castlar occupé à partir du milieu du 12e siècle aurait été abandonné progressivement pour le site actuel du village, en fond de vallée, dans la seconde moitié du 14e siècle. Aujourd'hui à l'état de ruine, le castrum a été fouillé et étudié dans les années 1980 et 1990 par Bernard Pousthoumis. L'étude archéologique menée conjointement à celle des textes a permis à l'archéologue d'étudier ce petit village fortifié "sous tous ses aspects : urbanisme, défense, modes d'habitat, réserves, activités, typologies du mobilier domestique, approche de l'environnement et de l'agriculture au Bas Moyen Age" (Pousthomis, Ruas, 1990). La première église paroissiale Saint-Etienne n'était pas associée au village : elle se trouvait dans une position relativement centrée par rapport au territoire de la commune, à quelques centaines de mètres en amont du village actuel à proximité du moulin du Chayla. Le cadastre actuel en conserve le toponyme. C'est probablement au cours du 13e siècle, que le village se développe à son emplacement actuel sous la volonté de l'abbaye de Sorèze (Pousthomis-Dalle, 2005). La raison du déplacement du village depuis la hauteur vers le site de fond de vallée peut s'expliquer par le besoin qu'ont éprouvé les habitants de se rapprocher du lieu de travail que constituait le ruisseau. Le bourg de Durfort était fortifié. Plusieurs documents en attestent. Le compoix de 1559 mentionne "les murailles de la ville". Les délibérations des consuls du début du 18e siècle signalent que des réparations sont nécessaires aux portes de la ville "afin de fermer la brèche qui est proche de l'église". L'église s'aligne le long de la rue et le chevet est largement débordant sur le côté nord du village dont il a pu concourir à la défense. Une gravure ancienne (à préciser) représente l'entrée orientale de l'actuelle rue des Martineurs, pourvue d'une grande porte en arc en plein cintre. Aujourd'hui, sur le côté sud de la rue subsiste le jambage d'une porte appareillé en grès. La place appelée le Plô, située à l'est du bourg, s'est développée extra-muros. Elle s'étend sur un espace compris entre le ruisseau et la colline. On peut situer sa création à un moment où l'enceinte du village n'est plus en usage, peut-être au 18e siècle. Sa création ne semble pas se justifier par des raisons commerçantes comme on est tenté de le croire au premier abord. Le cadastre de 1833 indique qu'elle est essentiellement pourvue de maisons à ce moment.£Le développement de l'habitat et des boutiques le long de la route du Castlar est en grande partie attribuable à la seconde moitié du 19e siècle.