Le fief de Loubéjac, qu'il ne faut pas confondre avec le Loubejac de la commune de L'Honor-de-Cos (Tarn-et-Garonne), sur les bords de l'Aveyron, est une possession des Penne puis passe, à l'extinction de la famille au milieu du 15e siècle, aux Lauzières-Thémines qui en recueillent l'héritage. En 1488, Guillaume de Thémines remet en cause le bail passé par Arnaud de Penne, son prédécesseur, en 1443, parce que le repaire, qui était noble et où avait habité sa famille, avait été également arrenté (J. Lartigaut, 2001). Bertrand de Thémines est seigneur de Loubéjac lors du dénombrement de 1504 (L. d'Alauzier, 1985). Dans la seconde moitié du 18e siècle, la carte de Cassini mentionne la présence d'un château à Loubéjac, qui est problablement l'édifice encore représenté sur le plan cadastral "napoléonien".£L'édifice a été entièrement détruit et il ne subsiste plus aujourd'hui qu'une porte, datable du 13e ou du 14e siècle, servant de portail.