Dans l'attente de l'étude de M. Bernard Sobie, nous limitons notre présentation à quelques informations historiques et descriptives.
Selon H. de Barrau (1854, p. 511), Latour serait mentionné dès 957, date à laquelle une Sénégonde donne la moitié du lieu à Frotaire, évêque de Cahors, et son frère Bernard II, vicomte dAlbi et de Nîmes. L'existence d'un fief à Latour semble bien attestée au milieu du 11e siècle (H. Débax, 2003) : un Gago de la Tour figure en 1132-1136 aux côtés d'Ermengard de Caylus, de Bernard de Saint-Félix, de Bernard de Begon, de Brusque, et de Robert de Cornus parmi les donataires à l'abbaye de Sylvanès. Arnaud de Latour et sa femme Anglésie font une donation à l'abbaye de Nonenque en 1205 ; les Latour sont seigneurs du lieu jusqu'à la fin du 14e siècle (de Barrau, 1854, p. 511). Avant 1428, noble Jean de Roquefeuil est devenu, par achat ou par alliance, seigneur de la Tour (Desjardins, Affre, 1868). La seigneurie de Latour est vendue par les Roquefeuil, avec celles de La Rode et de Marnhagues, à Jacques de Bonald vers le milieu du 17e siècle (de Barrau, 1854, p. 510).
S'il conserve peut-être des vestiges de constructions antérieures, l'édifice actuel date pour l'essentiel de la fin du 13e siècle ou des premières décennies du 14e, d'après les formes des fenêtres (à gâbles triangulaires et à linteaux ornés de trilobes). Les croisées et demi-croisées témoignent d'importants remaniements sans doute réalisés dans la seconde moitié du 15e siècle.
Le château a été acheté par la commune au début des années 1990 et restauré sous la houlette de l'architecte des Bâtiments de France Louis Causse.
