La tour d’Arles est implantée face au porche occidental de l’église Notre-Dame de Caussade. Elle est bâtie à l’extérieur du bourg initial, lors de son extension au milieu du 13e siècle. Elle est probablement située sur ou à proximité du premier fossé de la ville. Un document conservé aux Archives départementales de Tarn-et-Garonne (Inventaire des biens de Gausbert de Lalo à sa mort en 1295, AD 2 E 666), mentionne la présence, en 1295, d’une maison qui pourrait correspondre à la tour d’Arles. La maison est dite confronter la rue publique et le fossé de la ville. La famille de Lalo a souhaité affirmer sa puissance financière et son rang social élevé en construisant une haute et vaste maison avec des aménagements intérieurs (cheminées, coussièges des baies, placards, niches à lampes) et des décors peints muraux de grande qualité (sur deux niveaux). La tour est construite en front de rue mais elle est dès l’origine associée à un corps de bâtiment au nord (comme le confirme d’anciennes communications). Ce bâtiment a été remplacé par une maison datant vraisemblablement de la fin du 18e siècle. La hauteur de la tour était accrue par un mur écran qui, à l’origine, masquait le toit.£L’étude archéologique monumentale (confiée au bureau d’études archéologiques HADÈS en 1995) et la dendrochronologie (effectuée par le laboratoire L.A.E. de Bordeaux) attribuent la construction de la tour d’Arles au troisième quart du 13e siècle. Dès le second quart du 15e siècle, le rez-de-chaussée médiéval est divisé par un plancher et dans le courant du 16e siècle, un étage habitable supplémentaire est créé (par une surélévation de la toiture). Coté occidental, un escalier d’accès à la tour est probablement bâti au 17e siècle. Le 18e siècle a profondément modifié l’édifice dans l’organisation des façades, le découpage intérieur et son accès. Enfin, au 19e siècle, de nouvelles baies sont percées sur la façade sud. Malgré des façades très perturbées par ces percements postérieurs, ainsi qu’une redivision des niveaux des planchers, l’édifice a tout de même conservé l’essentiel de ses dispositions de la seconde moitié du 13e siècle (parti général, typologie des baies, aménagements intérieurs, peintures murales). Bien qu’elle ait disparue, la charpente de la tour d’Arles est aussi l'une des premières charpentes du 13e siècle restituables dans le Sud-Ouest.£Le bâtiment est classé Monument Historique en 1989. Une campagne de restauration de grande ampleur est effectuée par Régis Martin, Architecte en chef des Monuments Historiques, entre 1997 et 1999. Certains vestiges dans un bon état de de conservation ont permis de restituer les autres (baies géminées, enduits peints extérieurs localisés sur les ouvertures). En 2009, les peintures murales bénéficient d’un nettoyage d’ensemble.