A l'origine du musée et de la bibliothèque se trouve la donation de sa collection par F. Xavier Fabre à la ville. Première campagne de construction entre 1825 et 1828 sur les plans des architectes municipaux Fovis et Joseph Boué à l'emplacement de l'hôtel de Massilian. De cette époque, datent le grand escalier et la grande galerie du musée. Les legs Valedeau (1836), Fabre (1835) , permettent la construction d'un nouveau corps de bâtiment sur les plans de Joseph Boué (1832, 1842). De nouveaux dons (Bruyas, 1868, Flottes), sont à l'origine de l'extension des bâtiments jusqu'à l'Esplanade et de la construction des trois corps de bâtiments de la bibliothèque avec sa salle de lecture (1867, 1877) sur les plans de J. Cassan ; décor sculpté et statues de peintres par Baussan, Thouzellier Coste, Jullian, Taillefer.
Un grand chantier de rénovation/extension s'est déroulé en 2007.
Un nouvelle extension est prévue pour être inaugurée en 2030.
Peintre né et mort à Montpellier ; élève d'Alexandre Cabanel ; premier prix de Rome avec Sophocle accusé par ses fils. Il devient directeur de l'école des Beaux-Arts de Montpellier, et conservateur du musée Fabre, de 1871 à 1902.