L'histoire du territoire communal dans l'Antiquité est assez peu connue. Seule une découverte est mentionnée dans la Carte archéologique de la Gaule. Il s’agit d’un établissement gallo-romain identifié par prospection aérienne. Le plan de la villa est incomplet. Des tegulae et des céramiques ont été ramassées en surface.£Des vestiges, datant peut-être du haut Moyen Âge ont été repérés dans le village : des tombes rupestres au sud de l’église et un couvercle de sarcophage déposé près du château.£Les premières mentions textuelles de Lavardens remontent au 12e siècle. Les vestiges les plus anciens observés sur le château paraissent dater du 13e siècle. Les parties conservées de l’enceinte villageoise semblent contemporaines des éléments les plus anciens du château. Quelques maisons du village conservent de rares éléments de cette période. De rares vestiges médiévaux ont été repérés dans la campagne dans le cadre de l’inventaire préliminaire, mais il faudrait reprendre l’étude. Ils se trouvent principalement sur une grange à Lasserre et sur la demeure du Grand Cardenau. L’église Sainte-Marie paraît dater en partie du milieu du Moyen Âge. Elle est mentionnée dans les pouillés du 14e siècle comme annexe de l’église de Lavardens.£Au Moyen Âge, le territoire de la commune dépend du comté d’Armagnac. Le village est assiégé deux fois par les troupes royales au cours de la seconde moitié du 15e siècle. Il aurait été en grande partie saccagé lors du deuxième siège, entraînant notamment la ruine du château et la reconstruction de l’église paroissiale. La seigneurie passe dans le domaine de la famille d’Albret, jusqu’à la fin du 16e siècle où elle est donnée par Henri IV au maréchal Antoine de Roquelaure. Au début du 17e siècle, il procède à la reconstruction du château. La partie rurale de la commune n’a pas été étudiée en détail dans le cadre de l’inventaire préliminaire. Il semble tout de même y avoir plusieurs fermes ou demeures qui remontent aux Temps modernes, notamment au 18e siècle. Quelques gentilhommières sont figurées sur la carte de Cassini (Rouy, Parat, Nabat, Courtade ou la Hune et le Cardenau, plus ancienne).£Au cours du 19e siècle et de la première moitié du 20e siècle, la commune connait un développement relativement important qui se traduit dans l'architecture publique (église, mairie-école puis groupe scolaire, lavoir) et civile (nombreuses fermes et maisons). Un petit établissement thermal est aménagé à Fontaine Chaude dans les années 1840. Le village s’est étendu dans un faubourg aménagé à l’est.£Au cours du 20e siècle, le paysage bâti de la commune a peu évolué. Il n’y a pas eu de construction de lotissements et la qualité paysagère du site et de ses environs est conservée.