On ne sait rien de Luzech au premier âge féodal : en faisant ce constat, J. Lartigaut (1979, p. 255) supposait que le castrum avait pu appartenir à des seigneurs laïcs, et peut-être même à la famille éponyme, mais qu'il n'était pas possible de l'affirmer. L'évêque de Cahors achète vers 1227 Puy-l'Evêque et Luzech dont il devient le seigneur éminent (L. d'Alauzier, 1978). L'évêque ne réside jamais dans son château de Luzech, qui est confié à un "capitaine" vers 1375. En 1504, Bertrand de Luzech est baron du lieu, tenu de l'évêque avec toutes seigneuries, et il possède l'un des châteaux et la ville tenus de l'évêque et en pariage avec lui (L. d'Alauzier, 1984), mais l'année suivante, l'évêque Antoine de Luzech cède à son frère tous les droits de son église dans la juridiction de Luzech, en réservant toutefois les hommages des vassaux de la châtellenie (J. Lartigaut, 1979). Le château épiscopal est considéré comme vétuste lors d'un inventaire en 1509 (C. Didon, 1996). La famille de Luzech s'éteint vers 1600, et la seigneurie passe par alliance aux Chapt de Rastignac.

En 1841, l'emplacement de l'ancien château des seigneurs de Luzech est vendu, ou plutôt donné à la commune par le duc de La Rochefoucauld-Liancourt, héritier de Pierre-Jean-Julie Chapt, marquis de Rastignac (J. Bessières, 1873).£Le donjon du château de l'évêque peut dater du deuxième quart du 13e siècle, et sa construction serait alors postérieure à l'acquisition de 1227, et devrait donc être attribuée à Guillaume de Cardaillac (1208-1235) ou à Géraud de Barasc (1236-1250).