La première mention de cet édifice date du deuxième quart du 14e siècle. A cette époque, le château de Bagnères-de-Luchon reçoit une allocation afin de reconstruire et restaurer les parties détruites par l'incendie déclenché par des Espagnols. Il faut noter qu'entre le 14e et le 18e siècle, nous ne disposons que d'un seul acte, réalisé en 1643, faisant mention de Castel-Viel. Cet édifice a servi de relais militaire et de poste de garde durant les guerres du 18e et du 19e siècles entre la France et l'Espagne. En 1794, la municipalité de Bagnères-de-Luchon engagea des travaux de restauration et d'aménagement de la tour de Castel-Viel afin de protéger les habitants de la commune et leurs biens d'éventuelles attaques espagnoles. C'est pour la période couvrant le 19e siècle que nous disposons de la plus importante documentation. En 1866, un état des lieux de la tour de Castel-Viel est réalisé. Il permet de signaler que cette tour disposait alors d'une porte d'entrée, d'un escalier en bois, et que le toit plat était recouvert de zinc. En 1893, des réparations sont entreprises à la tour. C'est à ce moment là que l'on construit des créneaux sur la partie sommitale. Les travaux entrepris au cours du 19e siècle l'ont été dans un but touristique. En effet, entre 1857 et 1890, une personne louait à la municipalité de Bagnères-de-Luchon le droit de faire visiter la tour aux touristes et aux curistes de Bagnères-de-Luchon, en échange de son entretien et de ses abords. Durant la seconde guerre mondiale, les Allemands construisirent quatre blokhaus sous la tour de Castel-Viel.