D'après C. Didon (op. cit.), le château appartient au 13e siècle aux seigneurs de Lolmie. En 1504, Jean d'Orgueil tient une maison noble dans la paroisse de Lolmie, et Bernard d'Orgueil, seigneur de Lolmie, y tient également une maison noble sans justice (d'Alauzier, 1984). La seigneurie passe des Orgueil aux Reilhac en 1515, lors du mariage de Marguerite d'Orgueil avec Jean de Reilhac, qui s'installent à Lolmie. En 1661, le domaine est vendu aux clarisses de Cahors, qui le conservent jusqu'à la Révolution. L'édifice conserve trois cheminées du 16e siècle et un chapiteau du 14e siècle. Une croisée peut appartenir à la fin du 15e siècle ou au début du 16e. Les deux tours de plan carré sont modernes. La partie centrale de l'aile est, bâtie en pierre de taille et dont les angles sont arrondis, pourrait appartenir à un état antérieur au 16e siècle.