La fortification du bourg de Castelnau-Barbarens s'est effectuée en plusieurs étapes. Le château qui a présidé à l'établissement du bourg a progressivement été démantelé au cours du 18e siècle avant d'être remplacé à la fin du 19e siècle par l'actuelle église paroissiale.
Le texte des coutumes nous apprend que lors de sa fondation au début du 12e siècle, le bourg ne comportait qu'une porte alors qu'en 1248 il en avait au moins deux. Une forte rupture de pente entre les rues de Las Tortas et Longuebrune d'Astarac suggère peut-être la présence d'un ancien fossé taillé dans le rocher à cet emplacement, et donc les limites d'une première fortification villageoise.
La datation des éléments visibles de la fortification n'est pas aisée. En effet, une grande similitude existe dans la manière de construire entre les vestiges de l'enceinte du château, ceux de l'enceinte villageoise et ceux des portes. Ce qui subsiste du château pourrait remonter au 12e ou 13e siècle. Les deux portes de ville étant mentionnées en 1248, il est probable que l'enceinte villageoise soit antérieure à cette date, tout comme les vestiges encore visibles des portes. Les vestiges d'une troisième porte, à l'ouest, sont visibles bien que celle-ci ne figure pas dans la documentation écrite.
Il est possible qu'une première enceinte ait été édifiée dès le 12e siècle, puis le bourg s'étant aggrandi, un nouveau rempart aurait été bâti au cours de la première moitié du 13e siècle.
