La terre d'Azas fut confisquée par comte de Toulouse, avant 1200, à deux seigneurs tous deux condamnés (Mercadal, p. 217). Un fort est élevé au nord-ouest du village actuel pour se protéger des attaques lors de la guerre des Albigeois.
Au départ réalisé pour servir de refuge en cas de dangers, le fort est peu à peu habité. Dans sa monographie d'Azas, Pélegrin décrit la disposition du fort à partie des informations contenues dans le Terrier de 1480. Le fort avait une forme circulaire, entouré de fossés et de murailles, il était accessible par un pont-levis. A l'abri des fortifications se trouvaient environ 35 maisons, un four commun, une maison commune, une église et un presbytère (Pélegrin, p. 31). Les fortifications de ce premier village ne font aucun doute malgré l'absence de vestiges archéologiques car le lieu est encore nommé « Castel fort » sur le cadastre de 1837 bien que le fort ait disparu.
Azas faisait partie avec Lugan de la seigneurie de Saint-Sulpice. Elle devient alors la propriété de Sicard Alaman au 13e siècle. La charte de coutumes accordée par Sicard Alaman en 1247 permet à Azas de se constituer en communauté gouvernée par des consuls. Une maison commune est alors construite dans le fort.
L'église du fort est démolie vers 1520, les offices se déroulent alors dans la chapelle Notre-Dame de la Nauze, située à l'est du bourg dans le parc du château des seigneurs d'Azas, les Vedelly (Pélegrin, p. 35). Malgré l'incendie en 1569 par les protestants, la chapelle doit encore être utilisée par la suite car une nouvelle église ne sera édifiée qu'au 18e siècle (Mercadal, p. 220-221 ; Pélegrin, p. 35). Le sol du site de la chapelle Notre-Dame de la Nauze étant trop marécageux pour établir le cimetière, l'église est édifiée sur un nouvel emplacement à la sortie ouest du village.
Dans la seconde moitié du 17e siècle, la seigneurie était retournée au roi mais des seigneurs locaux possédaient des fiefs à Azas. Deux seigneurs coexistaient, la famille de Pagèze de Saint-Lieux qui possédait des terres et une maison dans le fort, et la famille de Vedelly, seigneur justicier (Mercadal, p. 219).
Un procès entre les deux familles anime toute la seconde moitié du 17e siècle car le co-seigneur de Pagèze refusait de rendre l'Hommage à Vedelly. En 1777, les bâtiments du fort étaient en très mauvais état et le seigneur de Pagèze décida de le vendre. Dans un acte du 22 décembre 1777, de Pagèze s'engage de faire démolir le fort et de faire reconstruire une maison pour le seigneur justicier d'Azas (Mercadal, p. 220).£Par le jeu des mariages et des héritages, les seigneurs de Vedelly prennent le nom de Lafont-Vedelly puis de Boutaric-Lafont-Vedelly pour devenir simplement de Boutaric à la fin du 18e siècle. Cette famille vivait dans le château actuel d'Azas.
En 1788, M. de Boutaric racheta à de Pagèze toutes les possessions pour cent mille Livres ainsi que la promesse de faire construire la maison précédemment mentionnée. La maison ne fut jamais construite, l'héritière de Boutaric, Mme Veuve Marie de Bruyes, offrit à la commune en 1810 le tiers d'une maison avec jardin dans le village pour servir de presbytère (Mercadal, p. 220).
