La seigneurie est partagée de longue date entre le commandeur de l'Hôpital et un seigneur laïque plus puissant, les Barasc au 13e siècle, puis les Cardaillac-Thémines, les Penne et les Lauzières de Thémines (E. Albe, 2005).£Les étapes de la fondation de la commanderie d'Espédaillac sont cependant mal connues. Cette "domus" de l'ordre de l'Hôpital de Saint-Jean de Jérusalem apparaît pour la première fois dans la documentation en 1257, dans une sentence arbitrale liée au contentieux qui oppose le commandeur Pierre Martel à Déodat de Barasc, seigneur d'Espédaillac. La maison hospitalière est alors déjà juridiquement instituée : elle est essentiellement documentée durant toute la seconde moitié du 13e siècle à travers une série de transactions ou de litiges. Elle abrite en 1299 une petite communauté de frères composée d'au moins quatre religieux et d'un donat, gouvernée par Bernard Mauri.£Les commandeurs quittent Espédaillac pour s'installer dans leur métairie de la Salle Durbans (actuelle commune de Durbans) après 1344 (E. Albe, 2005, p. 146).£Le logis du commandeur est encore mentionné au 17e siècle : en 1666, il est fait état du patus appelé "la tour de Saint-Jean", joignant l'église, sur lequel se trouvait autrefois la tour du seigneur commandeur (E. Albe, p. 151). Est-ce le "château" rasé avant 1590 par les huguenots, avant qu'ils ne ruinent l'église ? (E. Albe, 2005, p. 156)£Le seigneur laïque possédait aussi un château à Espédaillac. Lors d'une transaction de 1450, le seigneur se réserve le château et les fortifications du lieu (E. Cadiergues, 1937, p. 216). En 1519, Loys de Lauzières-Thémines hommage pour le lieu et château d'Espédaillac, dans lequel se retire en 1568 Jean de Lagrange, seigneur de Rouffilhac (qui a alors sans doute la seule la directe de la seigneurie) ; il lui est permis d'y rester avec le nombre de soldats qu'il voudrait (E. Albe, 2005, p. 159),£L'édifice élevé à côté de l'église pourrait être le logis du commandeur. Son état le plus ancien peut dater du 14e siècle. Des croisées témoignent de travaux réalisés au 16e puis au 17e siècle.