On doit au sculpteur ruthénois Denys Puech (1854-1942), Premier Grand prix de Rome en 1884, l’idée de construire à Rodez un musée d’importance départementale consacré aux beaux-arts, à même de pouvoir accueillir non seulement ses œuvres mais aussi celles d’autres artistes aveyronnais. Le projet naît dès 1902 et le sculpteur fait l’acquisition l’année suivante d’un terrain situé avenue Victor-Hugo, afin d’y faire édifier un grand hall destiné à abriter les modèles en plâtre de ses statues. Ce projet n’est toutefois pas retenu par la Ville qui lui préfère, en 1906, l’emplacement de la maison Bertrand jouxtant le chevet de la cathédrale. À la demande de Puech, le projet est confié au jeune architecte André Boyer (1882-1953), auquel lui est associé l’architecte municipal Alphonse Soumet. Boyer achève alors ses études à l’École nationale supérieure des beaux-arts de Paris ; c’est d’ailleurs ce musée de sculpture et de peinture pour les artistes Aveyronnais qui constitue son projet de diplôme en juin 1907.

Un premier projet établi en 1906 par les architectes prévoit un programme mixte. Des magasins doivent occuper le rez-de-chaussée tandis qu’à l’étage sont prévues des salles de peintures et de sculptures, dont l’une est réservée à l’œuvre de Denys Puech.

Fin décembre 1906 est dressé un nouveau projet. Situé à l’angle des rues Frayssinous et d’Estaing, le bâtiment projeté, de plan carré, est marqué par l’influence parisienne, avec sa rotonde d’angle ornée d’une porte monumentale. Le rez-de-chaussée éclairé par de grandes baies est destiné aux sculptures et l’étage est consacré aux peintures, éclairées par un plafond vitré.

Bien qu’approuvé par le conseil municipal en janvier 1907, ce projet suscite de nombreuses critiques. Une polémique s’installe au sujet de l’emplacement du futur bâtiment ; nombreux sont ainsi les ruthénois à s’opposer à la construction d’un musée à l’emplacement de la maison Bertrand, dont la démolition a permis dégager le chevet de la cathédrale. L’intervention de la cantatrice Emma Calvé, née en Aveyron, met un terme à cette polémique : en offrant 20 000 francs pour la construction du musée sous réserve que la Ville renonce à son projet de construire le bâtiment à l’emplacement prévu, elle permet l’aménagement d’une place publique qui porte aujourd’hui son nom.

Un nouvel emplacement pour le musée est donc choisi le 15 septembre 1907 par le conseil municipal, qui décide de le bâtir sur le plateau Sainte-Catherine, sous réserve que les marchés aux bestiaux y soient maintenus. La Construction moderne souligne la qualité du site choisi : « Cet aimable monument occupe sur le plateau Sainte-Catherine un emplacement admirablement choisi. À proximité du boulevard qui ceinture la ville, ce plateau s’avance vers la campagne et la vallée de l’Aveyron, sur laquelle il a une vue très étendue. On sait que Rodez est bâtie sur une colline que l’Aveyron contourne sur les deux tiers de son périmètre. L’édifice est dégagé de toutes parts, et la distance du boulevard à la façade donne tout le recul nécessaire à la vue. Le musée sera entouré d’un jardin qui, en arrière, doit être bordé d’une terrasse dominant la vallée et permettant aux promeneurs de jouir du splendide panorama. »

La première pierre du musée est posée le 26 avril 1908 en présence d’Emma Calvé. La construction est réalisée par l’entreprise Boissière. Les travaux de sculpture sont confiés à François Cogné (1876-1952), un élève de Puech, en octobre 1909. Leurs noms figurent avec celui d’André Boyer en façade ouest, de part d’autre de la porte monumentale. Les travaux accusent cependant du retard, notamment en raison de difficultés financières.

Bien qu’inachevé, le musée est inauguré le 17 juillet 1910. En juin 1912, un emprunt est souscrit par la Ville afin d’achever l’exécution de l’escalier, de la grille de la porte, des sculptures et du parement. En février 1913, certains travaux de décoration (colonnes, corniches, rampe en fer forgé de l’escalier, socles pour les œuvres) ne sont pas terminés. L’ouverture officielle est annoncée pour le mois de mai 1914 et Joseph Angles, le bibliothécaire de la ville, est nommé conservateur du musée le mois suivant. Il faut toutefois attendre la fin de la Première Guerre mondiale pour que le musée ouvre véritablement ses portes au public.

Durant les années 1920 et 1930, les collections du musée s’enrichissent de différentes œuvres d’artistes aveyronnais, tels qu’Eugène Viala, Maurice Bompart, Renaud de Vezins, Marc Robert, Eugène Loup.

Le musée fait l’objet d’une première rénovation au début des années 1950 sous la direction de son conservateur Jacques Bousquet. Mais c’est à la fin des années 1980 que le musée prend son aspect actuel. La rénovation-extension conduite par le conservateur Yves Denieau en 1988-1989 aboutit au complet réaménagement des salles, entrainant la disparition de certains décors muraux. Le musée rouvre ses portes le 27 janvier 1989.

À l’occasion de ces travaux, la Ville passe commande d’une œuvre à l’artiste plasticien François Morellet : baptisée « intégration », l’œuvre s’insère discrètement sur les murs nord et sud du musée. Cette ouverture à l’art contemporain, qui se traduit dans la programmation des expositions du musée, se prolonge en 2005 avec l’acquisition de six chiens jaunes en bronze du sculpteur Aurèle Ricard, dit Aurèle. Elles occupent ainsi les consoles de la façade principale, laissées vacantes depuis la construction du musée.