Le pont reliait au Moyen Age les deux châteaux de Brassac : le château de Brassac de Belfortès sur la rive gauche, et celui de Brassac de Castelnau sur la rive droite. Un dessin de 1770, conservé aux archives départementales du Tarn, montre que le pont a été depuis remanié : la voûte de l'arche la plus à droite n'existait pas et la voûte de l'arche la plus à gauche était voûté en ogive. La pile de la rive gauche comportait un avant-bec triangulaire et était surmonté d'un petit édifice (poste de garde ou octroi).£Le pont est désaffecté en 1840, après la mise en service du Pont Neuf, 65 mètres en aval. En 1856, on y fixe des pitons de fer destinés à servir d'étendoirs pour les pièces de draps sortant de la teinturerie installée sur la rive droite. Le pont est remis provisoirement en usage en 1861, après que le Pont Neuf ait été dévasté par une crue et est alors modifié : les parapets en moellons sont remplacés par des garde-corps en bois qui reposent sur des poutres. Pour donner plus de largeur à la chaussée, ces poutres sont fixées sur des corbeaux de pierre encore visibles aujourd'hui. En 1867, après la reconstruction du Pont Neuf, il est remis dans son état initial. Il a été repavé en 1892 et restauré en 1957.