Le hameau ne figure pas sur le cadastre ancien de 1826 mais le lieu est identifié par l’appellation "al Ruffas". Une partie du hameau est présente sur le cadastre de 1965, l’autre partie est postérieure à 1965.

D'après le Nouveau Dictionnaire Topographique et Étymologique, Les noms de lieux du département de l'Hérault, le nom Le Ruffas vient d'un "dérivé du terme dialectal ruffe (lat.rufa), employé couramment dans le Lodévois et le canton de Lunas pour désigner un terrain rouge et âpre".

Ce hameau fait partie du passé industriel de la commune de La Tour-sur-Orb. C’est en 1934 que les concessions de la Tour-sur-Orb et du Bousquet d’Orb fusionnent pour former la concession minière du Ruffas. La superficie de cette nouvelle concession qui s’étend à la fois sur les communes de La Tour-sur-Orb, du Bousquet, de Lunas et de Dio-et-Valquières, est alors fixée à 2381 ha. Si La Tour-sur-Orb n'a pas connu le développement industriel observé dans la commune voisine du Bousquet d’Orb, sa proximité lui a permis d'ériger les mêmes programmes de construction de logements ouvriers développés, à Graissessac et au Bousquet d’Orb, à partir du début du 20e siècle.

Déjà, en 1875, la Société des mines de zinc du Midi érige une cité ouvrière sur la parcelle A 1252 du cadastre ancien. Il s’agit vraisemblablement d’une partie de la cité ouvrière Les Casernes (AD Hérault 3 P 2929). La construction de logements pour le personnel de la mine et leur famille débute dès la fin du 19e siècle. A partir des années 1920, les logements collectifs se multiplient, notamment pour répondre à l’arrivée de nouveaux mineurs étrangers et leur famille.

Le hameau s'est donc développé avec l'industrie minière entre la fin du 19e siècle et le deuxième quart du 20e siècle.