La construction d'un château à Lavacant pourrait remonter au début du 16e siècle et être à l'initiative d'un des vicomtes de Labarthe, Seigneur de Giscaro et de Boucagnère(s). Le château appartient toujours à la famille de Labarthe au début du 17e siècle (Gabriel de Labarthe, puis son fils Michel). L'existence d'une salle est attestée par le livre terrier de Pavie en 1668. En 1690, le domaine, propriété de Jean-Baptiste Daste, comprend une maison noble bâtie en pierre, chaux, colombage et torchis, deux tours du côté nord, un pigeonnier au fond du jardin, deux métairies, celle du Terne et de Lavacant (24 arpents de terres labourables, dont 3 arpents de vignes). Le château est ravagé par un incendie puis reconstruit entièrement en matériaux durs (torchis remplacé par de la pierre) à la fin du 17e siècle ou au début du 18e siècle. Les baies couvertes en arc segmentaire en élévation ouest du château, restituables d'après les cartes postales anciennes, pourraient dater de cette période, de même que l'escalier à deux volées droites. Une tour isolée est également reconstruite sur les fondements d'une tour ancienne à la même période.£A partir de 1751 et jusqu'à la Révolution, le château est la propriété de la famille de Lamezan. Il connaît plusieurs transformations au cours du 18e siècle. Le cadastre de la commune de Pavie, établi en 1786, précise en effet que Bernardin Manas de Lamezan, lieutenant-colonel, chevalier de Saint Louis et coseigneur de Pavie possède un château, des granges, des écuries, une basse-cour, un jardin, une ornière, des près, champs, vignes, friches et bois. Cette description correspond aux bâtiments représentés sur le plan cadastral de la commune de Pavie dressé en 1810. Au sud, le logis (1810 A 62) et deux granges (1810 A 63 et 64) délimitent une cour dont l'accès semble se situer à l'est. Au nord, un corps de bâtiment (maison) dans le prolongement du logis et une grange (1810 A 60) sont répartis autour d'un patus. Le plan signale également l'existence d'une maison rurale (1810 A 69) et d'un pigeonnier (1810 A 71). Il est possible que la date 1816, portée sur l'un des piliers du portail situé au sud de la cour, coïncide avec une campagne de transformation du château, notamment la composition symétrique de la façade et les toitures des tourelles à fortes pentes couvertes en ardoises (disparues avant les années 1950). Le portail constituait l'aboutissement d'un nouvel accès depuis la route de Lavacant, aujourd'hui disparu, mais encore visible sur une vue aérienne de 1960. A partir de 1852, les nombreuses affectations successives modifient sensiblement la propriété. Excepté la tour isolée et le pigeonnier (voir notice n° IA32110005), les dépendances disparaissent au cours de la seconde moitié du 19e siècle puis dans le dernier quart du 20e siècle. Le château fait quant à lui l'objet de très nombreux remaniements (toitures, encadrements de fenêtres, distribution intérieure). Seul l'escalier, une porte couverte d'un arc en plein cintre, les piédroits d'une autre porte et quelques murs intérieurs ont été préservés. Le château est aujourd'hui affecté à l'administration du lycée d'enseignement général, technologique et agricole d'Auch Beaulieu-Lavacant (voir notice n° IA32110002).