Sous l'Ancien Régime, La Tour-sur-Orb fait partie de la communauté de Boussagues. Cette communauté est constituée en 1761 des villages de Boussagues, La Tour, Clairac, Le Mas-Blanc, Le Bousquet de la Balme, Saint-Xist, Véreilles, Sénégra, Alzou, Frangouille, Camplong, Graissessac, Riols, Laroque, Lomestan, Prouvères, L'Airole, Saint-Etienne-Estréchoux, Virenons et Marsans-d'Alzon. Les paroisses de Campillergues, Camplong, Saint-Etienne-de-Mursan et le Mas-Blanc (dédiée à Saint-Martin et dont le présentateur est l'abbé de Joncels) dépendent de la communauté de Boussagues. En 1790, les paroisses de Saint-Martin-de-Clémensan (ou d'Orb) et de Saint-Laurent de Feyrerolles sont rattachées à la commune de Boussagues, Campillergues est rattachée à celle de Brenas. En l'an II (1793-1794), Camplong est érigée en commune et détachée de Boussagues, Saint-Etienne-de-Mursan, Saint-Etienne-Estréchoux, Saint-Martin-de-Clémensan et Garissessac lui sont rattachées. Le 14 janvier 1884, le chef-lieu de la commune est transféré du village de Bousssagues au village de La Tour ; la commune prend alors la dénomination de La-Tour-sur-Orb (Bulletin des Lois, 1884, XXVIII-182).

En 1912, Albert Fabre estime la population de cette commune à 1063 habitants et indique qu'elle est dispersée dans 11 hameaux : Alzon, de Véreilles, Le Ruffas, Boubals, Bousquet de la Balme, Boussagues, Clairac, Frangouille, Mas Blanc, Sénégra, Saint-Xist (Fabre p. 45).

Franck Hamlin signale que le village s’appelait autrefois Brousson et que le nom actuel fait peut être allusion à l’ancien château de Brousson, mais plus probablement à celui de la Tour de Patau.