La seigneurie est à l'origine tenue par la famille des Concots, vassaux des Cardaillac qui en possèdent l'entière justice. En 1453, noble Jean de Cardaillac, chevalier, seigneur de Cardaillac et de Saint-Cirq et seigneur en seul de Concots, accense collectivement tout le lieu de Concots, avec maisons et autres constructions, toutes terres, arbres, ruisseaux, etc., et même le four et la "tour" du lieu (J. Lartigaut, 1993). La tour devient ainsi propriété de la communauté. Il semble en revanche que les Cardaillac aient conservé ou retrouvé un "château" où résidèrent certains de leurs successeurs : Jean de Comarque, seigneur de la Devèze, qui possède Concots dans les années 1633-1655, puis Pons Bécave de Sérignac, et enfin les Mauriac, qui seront les derniers seigneurs de Concots : de 1759 à 1773, Arnoul de Mauriac s'emploie à reconstituer le "château" en acquérant des portions de l'enceinte castrale et des bâtiments confrontant la chambre et la basse-cour du seigneur (M. Thouvenin-Crouzat, 1989).£Le donjon est une construction homogène qu'il faut sans doute dater du 13e siècle. Le logis voisin, datable de la même période, a été largement repris au 15e siècle.