D'après C. Didon (op. cit.), le fief de Costeraste est cédé au 12e siècle par l'abbaye d'Aubazine à la famille Ebrard. Des vestiges (appareil et une partie d'une baie) conservés principalement dans le corps de bâtiment sud, élevé sur l'escarpement qui domine la vallée, pourraient permettre dater le premier état du 13e siècle. En 1337, le repaire de Costeraste dépendait de la baronnie de Salviac, et il possédait peut-être deux salles, en raison des deux hommages distincts que rendaient les Engolème (J. Lartigaut, 1992).£Des fenêtres ornées de baguettes croisées et de culots sculptés de roses témoignent d'une campagne de travaux qui doit être placée vers 1500, et qu'il faudrait attribuer à Martin Tustal alias Ricard de Gourdon, qui possède le repaire de Costeraste en 1504, avec hommage à Antoine de Durfort (L. d'Alauzier, 1984).£L'inventaire, dressé en 1635, des biens laissés par François d'Albareil, décédé en 1619, constate que le château se réduit alors à une "chambre" sans cheminée, que feu d'Albareil avait fait construire sur des "fondements anciens", mais qu'il avait également entrepris des réparations à la muraille de la chapelle, à celle de la basse-cour et à une tour (J. Lartigaut, 1984). Seule une fenêtre de l'élévation orientale du corps de bâtiment nord, d'ailleurs percée dans une maçonnerie antérieure, peut être attribuée à des travaux réalisés dans les années 1570-1619 par François d'Albareil. La reconstruction intervenue vers 1652 (date inscrite au-dessus d'une baie), à laquelle le château doit une grande partie de son état actuel, doit être attribuée à ses héritiers. C'est peut-être au 19e siècle que l'aile ouest est devenue le siège de la paroisse, avant la construction de la nouvelle église.