A Montricoux s'est vraisemblablement formée une première agglomération autour du château et la maison templière. Cette agglomération peut, selon Florent Hautefeuille, être contemporaine de la mise en place de la maison templière (membre important de la commanderie templière de Vaour) à la fin du 12e siècle ou au début du 13e siècle. Une première enceinte, aujourd'hui disparue, englobait ce noyau d'habitations. D'après Florent Hautefeuille, cette première enceinte était percée de deux portes, la porte d'Aval ou porte Basse et une autre située non loin de l'église et de l'ancienne place de l'actuelle mairie. Dans cette partie de la ville, des rues radiales, parallèles, partent de la rue principale (Grande-Rue) et rejoignent la partie sud de l'enceinte. L'accroissement de la première agglomération entraîne l'implantation d'un nouveau barry. Le nom de "barry" (faubourg) est attribué à l'extension postérieure qui correspond à la partie est du village. Les fortifications, encore visibles aujourd'hui, constituent les façades postérieures des maisons. Au sud, le système défensif est complété par des tours rondes. La mise en défense de ce nouveau quartier pourrait dater, selon Florent Hautefeuille, du milieu du 14e siècle, période de construction de ce type de fortification dans la région, comme on en trouve à Bruniquel et à Flaugnac (Lot). A la fin du 15e siècle, Montricoux se compose donc de deux parties distinctes encore visibles aujourd'hui dans l'urbanisme : le bourg et le barry.
Une demande de recours, datée de 1567, (Devals 1864, p. 35) donne un descriptif de l'état des fortifications de Montricoux au 16e siècle. Il est fait mention de trois tours et de trois portes (ouvrages d'entrée) surmontées de tourelles : la porte Haute (à l'est), la porte Basse (à l'ouest) et la porte Saint-Antoine (au sud) qui se situait au milieu de l'enceinte, dans le prolongement de l'actuelle rue de la Résistance. Les trois portes figurent sur le plan cadastral de 1810. En 1820, le Conseil municipal vote le démantèlement des trois portes de ville. Il semblerait toutefois qu'au début des années 1870 (BSATG 1894, p. 146), la dernière porte, la porte Basse soit toujours en élévation. Les trois tours, encore visibles actuellement, étaient à l'origine plus hautes, comme en témoignent certaines cartes postales et photographies de la fin du 19e siècle et du début du 20e siècle. Il n'est pas exclu qu'elles aient été crénelées. La tour nord est mentionnée comme "tour de Réginet" sur la plan établit vers 1770-1780 (AD 82, 2 Fi 48). Cette tour, propriété de la commune a été employée à partir de 1907 au dépôt du pétrole qui servait l'éclairage public du bourg. D'après des sources orales, des travaux effectués durant la seconde moitié du 20e siècle, place de l'Eglise (entre les parcelles 308 et 309), ont permis de mettre au jour les vestiges de fondations d'une quatrième tour. Cette dernière aurait un diamètre identique à celle située place de la Porte-Haute.
