Les Charry sont une famille de marchands de Montcuq, dont un est consul en 1336 ; ils accèdent progressivement à la noblesse au milieu du 15e siècle : Pons de Charry, marié à noble Jeanne de La Dugie, est qualifié de "donzel" vers 1460. Son fils Augier, marié à Fine del Castanhier d'Aucastels et capitaine de Montcuq et de Lauzerte, se fixe au repaire de Malmon-le-Petit qui est déjà appelé "Charry" en 1519 (J. Lartigaut, 2001). La famille donne naissance à une dynastie militaire dont le plus illustre représentant a été Laurent de Charry (1530-1563), qui a organisé la Garde royale à la demande de Catherine de Médicis. Les Charry possèdent la seigneurie jusqu'à la Révolution ; le château passe ensuite aux Lavaur de Charry, puis, au 20e siècle, au colonel Bonnafous de Caminel (C. Didon, 1996).£Le logis d'origine, de la fin du 15e siècle ou du début du 16e, flanqué de deux tours polygonales et d'une enceinte avec tours, a été modifié au 17e siècle et des corps de logis ont été ajoutés au 18e siècle. Mal entretenu, le château est parvenu au 20e siècle à l'état de ruines ; sa restauration a débuté en 1984.