Mentionné pour la première fois en 1371, le premier moulin est probablement élevé à fleur d'eau. Appelé moulin du Roi ou du Pont Vieux en raison de son emplacement, il s'ajoute à celui élevé immédiatement en aval, le moulin de la Roque, peut-être antérieur, et qui partage avec lui la grande chaussée bâtie en amont. Emporté en 1393 et en 1414, le moulin est inféodé à la ville par le Roi. Il est reconstruit dès cette deuxième date, probablement à l'emplacement qu'on lui connait aujourd'hui, dans la souche attenante à la deuxième pile du pont.

Moulin à moudre le blé pour les habitants de la ville à l'origine, on lui ajoute un moulin drapier en 1529, alors que depuis un siècle, l'industrie drapière domine la ville.

Dans la première moitié du XVIIe siècle les guerres de Religions entraînent de nouveau des travaux de fortification de la ville et du pont. Des documents d'archives des années 1622 et 1628 montrent que la rareté des blés due aux conflits ralentit la production de farine. Ils montrent aussi que des travaux et des réparations sont entrepris, sur la chaussée, sur le pont ou le moulin durant tout le siècle et au-delà. À l'occasion de leur changement, on apprend qu'en 1631, une des paires de meules à froment est en tuf de Creissels tandis que l'autre, de grès, provient de Saint-Beauzély.

En 1656, la Ville appauvrie cède son « moulin bladier » à Jean-Antoine de Tauriac. Sa famille le conserve jusqu'à la Révolution. Alors, son propriétaire Philippe-Louis-Gaspard de Tauriac émigre et en 1795, le moulin est vendu comme bien national à Fulcrand Fabréguettes, un habitant de Millau. De 1824 à 1829, le moulin est passagèrement équipé d'une meule destinée à la fabrication d'huile de noix. Elle s'élève à « l'emplacement de l'écurie attenante au moulin à blé », sur le tablier du pont arraché depuis 1758. En 1863, le moulin est vendu à Jacques Sorro qui le modifie l'ensemble, employant de nouveaux matériaux et savoir-faire : il élargit le parapet, surélève le moulin et remplace les poutres de bois par des poutres de fer sur lesquelles reposent des voûtes à l'anglaise. Des meules en silex de Seine-et-Marne remplacent celle de grès ou de tuf. Trois bluteries et un crible pour nettoyer les blés sont installés et le moulin fonctionne désormais avec cinq moteurs hydrauliques. Dix ans plus tard, la mouture des céréales secondaires semble abandonnée au profit de la fabrication de farine de boulangerie, suite à l'acquisition de trois nouvelles paires de meules à froment, en silex de Dordogne. En 1883, le moulin connait une nouvelle mutation et est converti en moulin à tan. Les écorces broyées servent aux ateliers de tannage des peaux, nécessaire à l'activité peaussière de la ville. Dès 1891, les héritiers de Jacques Sorro y implantent une usine à chamoiser. Une autre étape de l'industrie de la peau est franchie, celle qui permet d'apprêter les peaux nécessaires à la ganterie. Le moulin comprend alors deux foulons, six machines « pour mettre au vent » et des ponceuses. Pourtant l'année suivante, un moulin à grain avec trois paires de meules et deux bluteries y est de nouveau mentionné. Sans doute l'équipement de 1863 a-t-il été conservé tandis que les nouvelles machines ont été intégrées. Une importante modernisation touche l'ensemble en 1910. Les meules de pierre sont remplacées par des machines modernes et des plansichters, des tamis plats superposés, qui se substituent aux bluteries. En 1932, pont et moulin sont classés au titre des monuments historiques. Le propriétaire craignant un ralentissement de son activité, une nouvelle protection est proposée en 1934, ne concernant que le pont. L'activité cesse pourtant en 1937. Le moulin est vendu à la Ville en 1954 : elle y installe alors le musée puis l'Association des Peintres et Sculpteurs. Le moulin a été restauré en 2016 par l'architecte du Patrimoine Frédéric Fiore.