Le castrum d'Aignan est attesté en 1255 comme possession des comtes d'Armagnac (Cursente). Il n'est pas certain que l'ensemble du bourg soit alors véritablement constitué et fortifié. Les rares éléments visibles de la fortification semblent dater de la fin du 13e siècle ou du début du 14e siècle (maçonnerie fourrée avec parements en moyen appareil). Plusieurs historiens de la Gascogne indiquent qu'Aignan aurait été prise et détruite par le Prince Noir en 1355, cependant aucun document d'archive ne permet de justifier cette hypothèse (Ardiley). Quoi qu'il en soit le système défensif d'Aignan est alors bien en place, dominé au sud-ouest par la tour pentagonale du château des comtes et au nord-est par l'église fortifiée. Le bourg d'Aignan aurait été ravagé au cours des guerres de religion. La destruction des fortifications a pu s'amorcer à cette période et se poursuivre tout au long des Temps modernes. Sur le plan cadastral de 1830 figure encore l'emplacement du château des comtes d'Armagnac. Il correspond à une forme plus ou moins circulaire au sud-ouest du bourg, bordée de contreforts au nord, de bâtiments à l'est et au sud, et possédant en son centre une tour pentagonale. Ces édifices ont tous disparu au cours de la seconde moitié du 19e siècle. Il ne subsiste plus aujourd'hui qu'un pan de mur de l'enceinte sur le front oriental (mur est de la parcelle AB 139), et quelques assises du mur sud (parcelle AB 169).