Le château de Lavardens est mentionné dès le 12e siècle dans le Cartulaire noir de Sainte-Marie-d'Auch. Le village apparaît explicitement dans la documentation écrite en 1254, dans les Rôles gascons : ""fortaliciam sive le Capcostede cum villa non deteriorata"". Il semble qu'à cette date le village ne soit pas encore fortifié. D'après Benoît Cursente, la fortification est tout de même antérieure à l'octroi des coutumes en 1310.£À cette période, le village est l'une des principales places fortes des comtes d'Armagnac en Gascogne. À ce titre, il est assiégé à plusieurs reprises et pris à l'extrême fin du 15e siècle. Il est alors en partie détruit. Cela explique sans doute le peu de vestiges médiévaux conservés en élévation. Hormis certaines parties du château et de l'église, seules deux maisons présentent des éléments architecturaux attribuables à la fin du Moyen Âge (moyen appareil parcelle BL 48 et porte en arc brisé parcelle BL 81).£D'après l'étude du plan cadastral de 1827, le village a pu se développer en deux phases successives : d'abord la partie nord avec le château, l'église et les maisons qui se développent le long de la rue à l'est de l'église ; ensuite la partie sud avec une deuxième rangée de maisons au sud de l'actuelle rue principale. Ces deux phases sont antérieures à la fortification de la limite 13e siècle 14e siècle.£Par la suite, le village a peu été transformé dans sa morphologie générale. Seul un faubourg est apparu vers l'est à la fin des Temps modernes et surtout au cours du 19e siècle. Il n’y a eu aucun étalement urbain, ni création de lotissements, aux abords du village au cours du 20e siècle. Cela a permis de préserver son cadre paysager exceptionnel et son caractère patrimonial fort.