La construction du pont vieux de Montauban était programmée dès 1144 dans la charte de fondation de la cité. En effet, l'article 24 de cette dernière est consacré à ce sujet : "Les habitants dudit lieu construiront un pont sur la rivière du Tarn. Et, quand le pont sera bâti, le seigneur comte [Alphonse Jourdain] s'entendra avec six prudhommes, des meilleurs conseillers, habitants dudit lieu, sur les droits qu'ils devront y établir, afin que ledit pont puisse être entretenu et réparé". La construction du pont devait favoriser les communications entre Toulouse le Querçy, encourager les échanges et le commerce et développer la position stratégique de la cité. Si l'on en croit Devals Ainé, les consuls prirent des mesures pour réunir les matériaux et faire face aux dépenses de l'ouvrage. Ainsi, dès 1264, les actionnaires des moulins sont menacés d'une amende de 100 sols du Quercy s'il existe une différence de poids entre le grain reçu et la farine livrée. Le 25 juin 1291, la ville achête l'île des Castillons (actuellement de la Pissotte) à Pons de Cologne pour y asseoir plusieurs piles du pont. Cependant, la croisade contre les Albigeois et les incursions anglaises retardent la construction de l'ouvrage. C'est en 1311 que Philippe le Bel fait reprendre les travaux en les confiant à Etienne de Ferrières et Mathieu de Verdun en instituant un droit de péage à tous les étrangers passant par Montauban. Le roi imposa également la construction sur le pont de 3 tours dont il se réservait la propriété et la garde. Quelques atermoiements retardèrent encore le chantier obligeant la couronne à dépêcher sur place des commissaires royaux chargés de vérifier le bon usage des taxes locales. Les travaux furent terminés vers 1335. La tour carrée qui protégait le pont du côté de la Ville fut endommagée en 1562 lors des guerres de religion. D'abord réparée (1569), la tour dut être démolie (1574) pour être reconstruite. La nouvelle construction disparaît définitivement en 1663 à cause de l'édification du palais épiscopal (l'actuel musée Ingres). Une deuxième tour défendait l'extrémité opposée du pont. Protégée par une barbacane mentionnée dans les comptes municipaux de 1518 et 1569, elle servit de logement au bourreau de la ville entre 1630 et 1664 puis fut détruite en 1701 pour céder la place à un arc de triomphe. Elevé par l'intendant Gaspard Legendre en mémoire de la paix de Ryswick, ce monument disparut à son tour en 1869 lors de l'aménagement de la sortie du pont vers Villebourbon. Une troisième tour, élevée au niveau de l'arrière-bec de la quatrième pile adoptait une forme triangulaire. Elle renfermait au rez-de-chaussée une petite chapelle dédiée à sainte Catherine (patronne des nautoniers). Démantelée comme bon nombre d'édifices religieux pendant les guerres de religion, cette chapelle fut réparée par les soins de René Plainchesne, conseiller secrétaire du roi qui fonda, le 13 août 1657 un obit perpétuel doté de 1200 livres pour son fonctionnement. L'élargissement du pont en 1828 causa la démoliton de la chapelle Sainte-Catherine et l'abaissement de l'arrière bec sur lequel elle était construite. La tradition veut qu'en face de cette chapelle, sur l'avant-bec de la même pile, se trouve la bascule servant à manoeuvrer la cage de fer dans laquelle étaient immergés les blasphémateurs.