Le territoire de l'actuelle commune d'Avezan dépendait au Moyen Age de la vicomté de Lomagne. Cette seigneurie a appartenu à la famille vicomtale avant qu'elle ne la donne en fief à la famille de Manas du milieu du 13e siècle au début du 16e siècle. Le village semble avoir été mis en place aux alentours du 13e siècle. Le château a été bâti pour l'essentiel au 13e siècle bien qu'il ait été remanié à plusieurs reprises jusqu'à la fin du Moyen Age et au cours de l'époque moderne. L'église du 13e siècle a été fortement remaniée au 19e siècle. Une vaste maison du village (parcelle B 158) présente plusieurs ouvertures à accolades pouvant remonter à la fin du 15e siècle ou au début du 16e siècle. Cette maison possède une surface au sol beaucoup plus importante que la plupart des autres maisons du village. Il serait possible que cette maison soit le fruit d'une reconstruction sur l'emplacement de plusieurs maisons antérieures, au lendemain de la guerre de Cent Ans. Les bâtiments situés au Padouenc datent en grande partie du 17e siècle. Le château est Inscrit à l'Inventaire Supplémentaire des Monuments Historiques.