Cette tour de défense en brique à deux étages de 30 m de hauteur dont les origines remonteraient au 13e siècle garde jusqu'en 1631 sa fonction militaire qui s'exprime dans son architecture par des caractères défensifs marqués. En 1636, un foulon pour les draps de laine y est installé, ce qui semble préserver l'édifice des destructions de l'enceinte qui touchent l'ensemble de la ville.

C'est semble-t-il au 19e siècle qu'il reçoit trois paires de meules pour moudre le grain. Ces aménagements sont encore bien visibles dans les soubassements de la tour où subsistent les conduites des vannes, les conduits d'amenée, les cuves des rouets et également quelques vestiges dans la salle des meules au rez-de-chaussée où sont déposés quatre rouets en métal. Sur le plan de 1828, huit meules sont en place : trois dans le soubassement de la tour et cinq dans l'aile qui y est adossée. Cette partie de l'édifice est surélevée de deux étages à l'élévation ordonnancée au cours du 19e siècle. En 1855 une annonce d'adjudication indique que le moulin comporte 9 meules et qu'il est associé à une minoterie dont les machines et appareils sont établis dans les étages supérieurs. Un bâtiment annexe sert de logement aux meuniers et minotiers et possède des dépendances (deux cours, grange, écurie). Le moulin est alors vendu avec d'autres installations industrielles implantées sur l'autre rive du Tarn et reliés par une chaussée maçonnée.

C'est dans ces lieux que la famille Brusson commença à fabriquer ses premières pâtes alimentaires en 1872. En 1975, dans le cadre du plan de redressement de l'entreprise Brusson Jeune, la mairie achète la tour de défense et demande sa protection, effective en 1977.

L'aile côté bourg était initialement presque alignée avec l'extrémité arrondi de la tour (cf. cadastre de 1812 et photographies anciennes) et était ordonnancé de façon identique à l'aile conservée côté Tarn (ouvertures cintrées, bandeaux entre les niveaux, etc). Ce corps de bâtiment, visible encore sur la vue aérienne de 1930 a disparu sur celle de 1947 laissant place à une cour. La porte gauche de la tour qui donne sur cette partie semble avoir été calquée de façon récente sur sa voisine. Une carte postale datée entre 1904 et 1906 montre qu'à cette époque la tour était percée de plusieurs fenêtres désormais obturées, notamment dans le comble du toit conique. Au second étage, la baie a disparu, tandis qu'au premier, elle a été remplacée par une baie géminée. Au rez-de-chaussée de la tour, la porte surmontée d'une imposte a depuis été remplacée par une grille. Les aménagements visibles sur cette vue du début du siècle montrent un usage résidentiel de la tour et de ses annexes.