Le village de l'Isle-de-Noé est une fondation de Géraud d'Arbéchan, vers 1060, au pied de son château implanté à la confluence de la Grande et de la Petite Baïse (Cartulaire noir ; cité par Cursente). Il s'est longtemps appelé l'Isle-d'Arbéchan. Vers 1090, un nouveau quartier est peuplé près de l'église par l'archevêque d'Auch. Les habitants du village voisin de Laclotère, détruit, y sont logés (Cartulaire noir ; cité par Cursente). Ce premier village de la fin du 11e siècle est doté d'une enceinte. Il correspond certainement à la forme ovoïde qui englobe la rue principale. Ce premier village peut être qualifié de village-rue.£Ce village s'est un peu étendu vers l'est lorsque la seconde enceinte est bâtie, probablement au cours de la deuxième moitié du 13e siècle. Celle-ci englobe en effet un plus grand espace, là où se trouvait la place du marché et où est aujourd'hui implanté le château. Des coutumes sont octroyées aux habitants en 1271. Il y est notamment question de moulins et de fossés.£Le château, implanté au nord-ouest, au point de confluence, a été incendié en 1376 (Guinaudeau).£Le livre terrier de 1513 (archives privées ; étudié par Loubès) donne des indications précises sur la topographie du village à cette date. Concernant la fortification, le mur, les fossés et trois portes sont mentionnées (porte d'Auch au nord, porte Anglès au sud, porte Staraguese au sud-est). Le ""castet"" est par ailleurs cité, ainsi que le ""moulin grand"" près du château. Sur le plan cadastral de 1814 figurent quatre portes ; la quatrième est implantée au nord-ouest, en direction de l'emplacement du château initial.£Le secteur du château, à l'est, a été très remanié au milieu du 18e siècle par la construction de l'édifice toujours visible aujourd'hui (date portée 1756).£Un changement majeur est à noter entre le plan cadastral de 1814 et le plan actuel de l'agglomération : le déplacement de la Grande Baïse d'environ 75 m vers l'ouest. Elle ne passe plus aujourd'hui au ras du village.£De très rares vestiges médiévaux sont toujours visibles dans le village : l'église, quelques pans du mur d'enceinte et le pont.