Bâti un peu à l’écart du village, il s’élève aujourd’hui au centre d’une oliveraie. Il daterait de la fin du 16e siècle, comme l’indique la date de 1599 gravée sur le linteau de la porte qui présente un chanfrein important. Il pourrait néanmoins s’agir d’un réemploi : l’encadrement de la porte a en effet été très modifié, ce qui rend son interprétation difficile.

Le pigeonnier appartient en 1716 à Jean-Baptiste André, qui possède également les deux maisons communicantes à l’intérieur des murailles ainsi que le moulin à vent. La famille André, qui s’installe à Azillanet à la fin du 17e siècle, est originaire de Buzet, près de Toulouse et a été anoblie par le capitoulat en 1660.