L'actuelle église Saint-Augustin fait suite à une première chapelle édifiée dans l'enceinte du couvent en 1488. Dans son testament militaire de 1507, Jean Nicolas de Pomairols exprime le souhait que ses descendants construisent une chapelle funéraire dans l'église du couvent des Augustins. Cependant, ce n'est que le 20 avril 1520 que les consuls Guillaume de Roqua, Etienne Garrigarum, Jean Patras et Guillaume Caussé posent la première pierre de l'église conventuelle des Augustins, à la demande des révérends pères Bedou et Jouffredy. L'acte est pris par Pierre Coudercy, notaire et greffier des consuls. Le 16 avril 1522, le Pape accorde un pardon général au couvent des Augustins de Villefranche-de-Rouergue. En 1563, le couvent des pères Augustins, abandonné de tous ses religieux qui s'étaient enfuis en 1561 suite à l'accueil de protestants, est déserté et converti en collège, par ordonnance de Mgr Jacques de Corneillan, évêque de Rodez jusqu'en 1585. La construction du clocher et du choeur de l'église débute en 1588 et s'achève en 1591 ; l'église était couverte d'une voûte en bois construite par le maître-charpentier Antoine Lebotier (Cabrol, 1860, p. 207). En 1626, l'église est équipée d'un orgue fait par Claude Guilhemin (Cabrol, 1860, t. II, p. 238).£De 1803 à 1822, le culte de la paroisse de saint Augustin est célébré dans la chapelle des Pénitents Bleus. En 1809, la commune envisage de vendre l'église qui menace ruine pour racheter l'église des Pénitents Bleus. A partir de 1818, des travaux de remise en état de l'église sont amorcés. L'église est rouverte au culte en 1822 à usage paroissial. En 1837, les voûtes de l'église sont recouvertes de zinc. En 1840, la flèche du clocher est démolie. En 1843, un portail d'entrée, de style néo-gothique, et trois baies en partie haute sont percés dans la façade occidentale. A cette occasion, la tribune est reconstruite et rehaussée. De 1845 à 1846, le curé Vidal (enterré dans l'église) s'attache à embellir l'église en créant 4 fenêtres hautes à l'occasion de la rénovation de la toiture. En 1853, les maisons accolées au mur nord de l'église sont achetées par la commune et rasées pour pallier l'obscurité de l'église assombrie par la pose de vitraux colorés. En 1858, on installe un orgue et un tambour de porte. De 1861 à 1862, le clocher est reconstruit dans le style néo-gothique sur les plans de l'architecte diocésain de l'époque, Etienne-Joseph Boissonnade, puis Jean-Baptiste Vanginot. La réalisation du nouveau clocher est confiée dans un premier temps à la maison Virebent de Toulouse puis à l'entrepreneur de maçonnerie villefranchois Entraygues. Les ornements en céramique sont toutefois achetés au toulousain Virebent. Les fonts baptismaux sont alors embellis. La grande sacristie est édifiée à partir de 1862. En 1863, les murs de l'église sont blanchis. Jean Roux, maçon villefranchois, installe une balustrade en béton au clocher, à la demande du curé V. Durand. En 1925, l'ancienne sacristie accolée à l'église sur le côté nord du chevet est démolie. En 1936, les couvertures des chapelles nord sont refaites.£L'église de la paroisse Saint-Augustin est désaffectée en 1963 : elle sert aujourd'hui de lieu de manifestations culturelles.