Au début du 15e siècle, Roquefort appartient probablement à Pierre de Grammont, mort avant 1427 ; en 1470, sa veuve, Delphine Othon, dame de Roquefort, de Laudamie et de la Tour, co-dame de Camboulit, lègue tous ses biens dont Roquefort à son fils Bertrand, qu'elle a eu, avant 1453, de son deuxième mari, Guillaume de Lascazes (ou Las Cases), originaire du Languedoc (de la Chesnaye, 1867). En 1504, noble Dorde de Lascazes est seigneur de Roquefort qu'il tient du roi, avec toutes justices, maison, jardin, vigne et moulin (L. d'Alauzier, 1984). Les Lascazes se maintiennent à Roquefort jusqu'en sa vente en 1736 à Jacques Delfau, seigneur de Bouillac, trésorier de France en la généralité de Montauban (de la Chesnaye, 1867).£Le château conserve deux murs crénelés en moellons de tout venant qui ne semblent pas être une invention du 19e siècle, et qu'il faut donc considérer comme de possibles vestiges du premier château, peut-être du 11e siècle. Une archère à double traverse conservée dans une tour carrée témoigne d'une campagne de travaux au 14e siècle. Cette tour a été réaménagée en tour d'escalier à la fin du 15e siècle d'après la forme des fenêtres. Aucune trace ne semble en revanche subsister de la tour de quatre étages que Déodat de Lascazes aurait fait élever en 1520 (C. Didon, 1996). Les bâtiments résultent pour l'essentiel aujourd'hui de travaux réalisés aux 17e et 18e siècles, et au 19e siècle : la fenêtre en lancette, dont la création a entraîné la disparition d'une fenêtre du 18e siècle, appartient à ces dernières campagnes de travaux.