Les fréquentes mentions de "fossats" et de ""portas"" relevées dans le Censier de 1516 (BM de Rodez) confirment qu'à cette date, Naucelle était une ville entourée de remparts. En effet, en 1424, les habitants de Naucelle avaient senti la nécessité d'entourer l'agglomération de fossés et de murailles, alors que le bourg se développait autour du prieuré primitif. Hugues de Castelpers, Abbé de Bonnecombe et Philippe de Landorre, chevalier, fils de Ratier se sont rendus à Naucelle le 8 novembre 1424 et ayant assemblé la population dans l'église ont accepté leur demande. Cette autorisation de construire des murailles s'accompagna de l'octroi de franchises et du droit d'élire des consuls. Une inscription conservée dans l'église de Naucelle, date le début des travaux de 1427, ce qui est contemporain de la reconstruction de la grange de Bonnefon. Percées dans les murailles, les portes permettaient l'accès à la ville, on trouve mention de celle qui subsiste "la porta que va a Cabanes" devenue "Porte de Anglais". Elle s'ouvrait sur le chemin qui menait à Cabanès mais également à Sauveterre. Le censier confirme l'existence de deux autres portes aujourd'hui disparues : une non loin du presbytère qui portait le nom de "Porta nova de Galvan", le terme "nova" peut indiquer qu'elle avait été ouverte plus tardivement, ou du moins reconstruite ou modifiée, elle débouchait sur la route qui conduisait à la grande de Bonnefon et permettait de gagner le grand chemin de Rodez à Toulouse ; à l'opposé des deux premières, une troisième porte dénommée "la porta que va a Rodes" débouchait sur la route de la Mothe actuelle.

En 1658, les habitants de Naucelle se seraient rassemblés armés pour reprendre les bêtes que les archers du vice sénéchal du Rouergue venaient de leur saisir. Cette rébellion fut réprimée de façon brutale par la pendaison de huit habitants de Naucelle et fut à l'origine de la décision de l'intendant de Montauban de raser les murs et les tours de ce bourg et de descendre les cloches.