Le village de Lagarde, anciennement Lagarde-Fimarcon, s'est probablement implanté aux abords du château des seigneurs de Fimarcon au 13e siècle. L'église, la tour-porte servant de clocher et les vestiges de l'enceinte datent de cette période. Une maison conserve une porte à linteau droit sur coussinets en quart-de-rond qui pourrait aussi remonter à cette période (parcelle AN 38). Une autre maison conserve une fenêtre couverte d'une double accolade sculptée qui peut être attribuée à la fin du Moyen Age, vers 1500 (parcelle AN 44). Une transformation majeure dans la morphologie générale de l'agglomération est intervenue lors de la construction, au 17e siècle, des communs du château en avant de l'église et de la tour-porte qui constituait l'accès principal au village. Le château, implanté au sud du village, a été démoli certainement au moment de la Révolution française, il ne figure déjà plus sur le plan cadastral dit napoléonien de 1824. La plupart des maisons du village paraissent avoir été très remaniées au 19e siècle.