Dans la première moitié du 14e siècle, Etienne Lestrade, seigneur de Floirac, apparaît fréquemment comme témoin des hommages rendus aux vicomtes de Turenne, dont relevait Floirac (T. Pataki, 1990). En 1394, Marguerite de Lestrade, seigneuresse de Floirac et d'Agude, réside dans la "forteresse" d'Agude dont elle est chassée par un capitaine et qui est ensuite libérée par des gens d'armes fidèles au roi (M. Carrère, J. Lamure, 1994). Les Lestrade restent dans les lieux jusqu'en 1679, date du mariage de Marie de Lestrade avec Jean de Lagrange-Gourdon, seigneur de Lavercantière. Le château est vendu comme Bien national en 1794 (C. Didon, 1996) ; il figure encore sur le plan cadastral de 1813.
Les petites niches à coquille qui animent un culot de la voûte invitent à ne pas dater la construction de la tour qui subsiste avant le début du 16e siècle.
