Le village et le château appartenaient à la paroisse de Saint-Affre, dont l'église se trouvait au bord du Lot, à près de 2 km à l'ouest du village, où le toponyme en a gardé le souvenir ; Larroque-Toirac aurait été chef-lieu de juridiction au Moyen Age (Clary, 1986).
Le village ne semble cependant pas apparaître dans la documentation avant la fin du 15e siècle, avec quelques rares mentions d'habitants de Larroque-Toirac (Lartigaut, 1978). Une maison conserve un état attribuable au 15e siècle, sur une base plus ancienne.
