La première mention de Lagarde remonte au 10e siècle. Le premier château connu, édifié au 11e siècle, est une tour carrée avec, à l'angle, une tour saillante circulaire. Au 12e siècle, on rajoute quatre tours carrées, une poterne d'entrée rectangulaire. L'ensemble est relié par des murs avec meurtrières à étriers en partie basse et crénelage en partie haute. Au 14e siècle, l'édifice subit d'importantes modifications : création d'un corps de bâtiment derrière chaque façade, surélévation des toitures, création d'un pont-levis, modification de la porte d'entrée et des ouvertures du logis. Au 16e siècle, construction du grand escalier à vis suspendue (1526) avec voûte de style gothique flamboyant. A la même époque, le château est doublé par des murs et des voûtes. Un nouveau fossé est créé avec quatre bastions circulaires aux angles et entrée bastionnée avec pont-levis. Des aménagements somptuaires ont lieu au 17e siècle : statues monumentales sur les bastions et la tour d'escalier, création d'une grande esplanade ceinturée de fortifications au sud-est, remplacement du pont-levis d'entrée par un pont en pierre avec portail monumental, rampe d'accès partant du village. Une vaste terrasse bordée de balustres précède l'entrée. Propriété du Marquis de Mirepoix, le château fut alors appelé le "" Versailles languedocien "". Louise de Roquelaure joue un rôle dans ces nouveaux aménagements. Au 18e siècle, des jardins sont dessinés sur la pente qui conduit à la rivière. Un plan des jardins (150 cm x 60 cm), dressé à Toulouse le 2 juin 1769, est conservé aux Archives départementales de l'Ariège. Des gravures représentant le château, au milieu du 18e siècle, sont conservées à Sibra.