Au 13e siècle, la famille de Cazaubon est très influente et possède plusieurs points stratégiques, dont Saint-Puy en comté de Gaure. La baronnie de Cazaubon semble passer entre les mains de la famille de l'Isle à la fin du 13e siècle. Elle dépend alors directement du roi d'Angleterre. En 1334, la baronnie est donnée au comte d'Armagnac par le roi de France. Elle reste dans la famille d'Armagnac jusqu'à la fin du Moyen Age.£Le village castral de Cazaubon apparaît dans la documentation écrite au 13e siècle sans qu'il soit possible de connaître avec certitude le moment de sa mise en place.£Le ""Vieux Cazaubon"" a peu évolué morphologiquement au fil des siècles. La place bordée de couverts, au nord-est, n'était peut-être pas prévue à l'origine. Elle a pu être aménagée seulement à l'extrême fin du Moyen Age (elle n'est pas mentionnée dans le terrier de 1478 mais se trouve dans celui de 1600). Le château se trouvait probablement dans l'angle nord-est de l'enceinte, il a aujourd'hui totalement disparu. Il n'est pas mentionné explicitement dans les documents, il est seulement question d'une ""grosse tour"" en 1478 puis en 1626.£Des faubourgs se sont ensuite développés progressivement autour de ce pôle fortifié jusqu'à donner au village son allure actuelle, beaucoup plus éclaté et ouvert qu'initialement.