L'hôtel de Ville actuel abritait à l'origine la banque Villa. L'édifice a été édifié entre 1872 et 1876 pour le banquier Achille Villa (et maire de Millau entre 1855 et 1865), connu pour avoir financé nombre de projets industriels, liés à l'industrie peaussière et gantière de Millau mais également vinicole dans l'Hérault ou encore dans le Tarn. La banque ferme ses portes le 22 juin 1934 et dépose le bilan deux jours plus tard, suite au crac bancaire de 1929.
Le bâtiment est l'oeuvre d'un architecte de Montpellier Corvetto (Louis ?) à qui l'on doit également la construction des Temples de Millau et de Montpellier.
En1937, la Ville achète le bâtiment, en remplacement de l'ancien hôtel de ville (l'hôtel de Pégayrolles, l'actuel musée), pour y transférer ses nouveaux bureaux.
Elle fait ensuite élever le bâtiment qui occupe l'angle nord du jardin. S'il comporte aujourd'hui les services de la mairie, il accueillait à l'origine la poste avant qu'elle ne soit déplacée, plus loin sur cette même rue, en 1980.