Le village de Saint-Lary est un castelnau qui apparaît dans la documentation écrite à la fin du 13e siècle. Le château implanté à l'extrémité occidentale du village date pour partie de cette période. Il a été très remanié à la fin du Moyen Age et au début des Temps modernes. L'enceinte fortifiée du village de Saint-Lary semble dater de la limite 13e siècle 14e siècle. Elle a été été remaniée à la même période que le château (percement de bouches à feu notamment). Les maisons du village peuvent dater en partie de la fin du 13e siècle comme en témoignent les nombreuses portes à linteau droit sur coussinets en quart-de-rond conservées. Cependant, il est difficile de dater précisément ces éléments car le village a fait l'objet d'une importante campagne de restauration du bâti au cours des premières années du 21e siècle. L'actuelle église paroissiale a été construite dans les années 1846-1847 au sud du village, en contrebas. L'église médiévale se trouvait plus au nord, toujours en bordure de la route reliant Auch à Condom, en fond de vallée. Il n'y subsiste plus aujourd'hui que le cimetière.