La place de l'Olmet tient son nom de l'ormeau planté en son centre au Moyen Age. La place de l'Olmet et la place du Bourg, contiguës, étaient le centre des foires de la ville, au nombre de quatre par an : celle de Saint-Pierre créée en 1295, celles de la Saint-André et de Notre-Dame dès le 14e siècle et celle de la mi-Carême, autorisée par les comtes de Rodez en 1404. Si une image assez bonne de la place est fournie par le plan du bourg de 1495, on ne possède que quelques éléments succincts pour les époques antérieures. Au 13e siècle, la place était fermée à l'est par la maison des n° 3 et 5, qui date du dernier quart du siècle, et au sud la salle comtale et la halle aux draps existent également dès les années 1260. Pour le 15e siècle, le plan du Bourg dressé en 1495 et les livres d'estimes du Bourg de 1450 et 1497 fournissent de nombreuses indications qui permettent de se faire une idée assez précise de la configuration de la place à cette époque. Autour de la place sont alors groupés quelques-uns des édifices les plus importants de la ville : le palais comtal avec une tour au-dessus de la rue Saint-Amans, la halle des marchands, dite ""ala"", et trois grandes hôtelleries : sur la place à l'est, l'hôtellerie de la Fleur de lys ; l'hôtellerie de l'Ale, dans le coeur de l'îlot, derrière le palais comtal et la halle entre lesquels se trouvait son entrée ; l'hôtellerie du Jesu, à l'emplacement de la maison dite ""d'Armagnac"". Les édifices qui bordent la place ont été pour la plupart reconstruits ou remaniés au fil du temps, mais les contours de la place elle-même n'ont pas été modifiés, les bâtiments respectant depuis le 15e siècle les mêmes alignements sur la place et sur les rues adjacentes.