En 1857, une loi impose l’ouverture de succursales de la Banque de France dans tous les départements français. La demande d’implantation d’une succursale à Rodez effectuée dès 1858 est approuvée par décret de Napoléon III le 1er février 1867. La même année, ce dernier autorise l’achat du jardin de l’École normale et d’une partie du jardin et du préau de l’École des Sourds-muets, situés boulevard des Écoles et propriétés du Département de l’Aveyron.
Le pavillon principal est construit entre 1870 et 1874, année d’ouverture des guichets. Les plans ont été dressés par l’architecte du département de l’Aveyron Jean-Baptiste Vanginot (1820-1883), associé à l’architecte conseil de la Banque de France, Jean-Charles D. Laisné (1819- 1891), d’après une typologie architecturale définie précédemment par l’architecte en chef de la Banque de France, Gabriel Crétin (1812-1883).
Le développement des activités de la banque à partir de 1912 nécessite un agrandissement étudié à partir de 1916. En 1921, un avant-projet est établi et l’extension intervient en 1923. L’architecte du département de l’Aveyron André Boyer, inspecteur des travaux, dresse les plans de cette extension sous la direction d’Alphonse Defrasse, 1er Grand Prix de Rome et architecte en chef de la Banque de France. H. Formery et P. de Lagarde, inspecteurs au service d’architecture de la Banque, collaborent également au projet. Les travaux sont conduits par l’entrepreneur de maçonnerie Franz Van Dooren, qui travaille à la même époque avec André Boyer à la construction de la chapelle du grand séminaire de Rodez.
L’agrandissement comprend la construction de l’aile occidentale dans le prolongement du pavillon d’origine (sur quatre travées). À l’arrière, une importante extension comprend diverses salles en sous-sol, un nouveau hall du public et des bureaux en rez-de-chaussée, l’ensemble étant couvert d’une terrasse accessible par une tour d’escalier. Le pavillon du concierge est également construit. Enfin, comme à Digne ou au Puy-en-Velay, la clôture et le portail en fer forgé remplacent le mur et le portail en pierre.
Des travaux de modernisation et de redistribution des services, ainsi que la réorganisation du hall du public (état actuel) sont réalisés en 1985. L’étanchéité de la terrasse est aussi révisée à la même période, entrainant la disparition (ou simplement la couverture ?) du puits de lumière en béton translucide (béton et briques de verre) des années 1920.
