La porte sud est la seule porte de ville conservée en élévation. La porte elle-même peut dater du 13e siècle, mais la tour et le passage qu'elle contient sont de peu antérieurs à 1561, date à laquelle « fut conclue une transaction entre Jean de Gontaud dit d'Auriole, baron de Gramat, et le syndic de la communauté. Celui-ci déclara que la tour nouvellement édifiée sur la "muraille du consulat", sans le consentement du seigneur il est vrai, ne pouvait causer de préjudice au baron. En outre, il fit valoir que l'établissement d'une horloge était un acte "pour reigler la république et police d'un lieu décoré de deux belles foires et de deux marchés la sepmaine". Il fut alors décidé que la fenêtre haute de la tour, du côté du château, serait murée » (J. Lartigaut, 1980).