L'histoire du presbytère est étroitement liée à celle des seigneurs d'Azas. En effet, le tiers d'une maison et son jardin sont offerts en 1810 à la commune pour servir de presbytère par Mme Marie de Boutaric, veuve de Bruyes.

A la fin du 18e siècle, M. de Boutaric, seigneur d'Azas, rachète tous les biens que possède sur le village M. de Pagèze, co-seigneur d'Azas. Dans ce rachat est comprise l'obligation de construire une maison à l'usage de la commune. Boutaric a le devoir d'honorer cette promesse, cependant la maison ne sera jamais construite. Son héritière s'en acquitte après la Révolution à la suite d'un rappel par la commune.

Cette maison était divisée en trois parties, appartenant à l'Etat depuis la Révolution, elle est achetée par trois personnes différentes dont Mme de Boutaric, M. Saury et M. Majou.

La donation du presbytère est confirmée par acte du notaire Séverin Roques le 24 février 1852, entre la commune et la famille Auriol qui a hérité des biens de Mme de Boutaric, veuve de Bruyes.

La maison est remaniée au milieu du 19e siècle. L'aile qui abrite les écuries est ouverte par un portail donnant sur la rue. Les maçonneries des murs sont reprises par endroit et les murs sont recrépis. La cour est repavée. Le mur de clôture est entièrement reconstruit par l'entrepreneur Jean Serres dirigé par l'architecte Cabié (A.D. Haute-Garonne : 2 O 38/4). La porte cochère est également réalisée à cette occasion ainsi qu'une porte donnant sur le jardin.