Des seigneurs de Nadaillac, qui relevait de la châtellenie de Belcastel, sont mentionnés dès le 11e siècle par le cartulaire de l'abbaye de Tulle (C. Didon, 1996). En 1360, c'est un de Ricard de Rouffilhac, seigneur de Nozac, qui hommage pour le fief de Nadaillac-de-Rouge (G. Lacoste, 1885). Au milieu du 15e siècle, la seigneurie est aux Manha, ou Manhaniac : Alamande de Manha épouse Guillaume du Pouget, donnant naissance à la branche des du Pouget de Nadaillac. C. Didon (1996) retient l'origine bourgeoise des Manha, originaires de Gourdon, tandis que Guillaume, notaire de la même ville, appartiendrait à la noblesse de robe ; H. Viers (1961, p. 213-214) fait au contraire de Guillaume du Pouget, qualifié de "damoiseau", le petit neveu du cardinal du Pouget, tandis qu'Alamande est dite "dame de Nadaillac et du Repaire de Laval dans Nabirat". En 1504, le seigneur de Nadaillac est Pierre du Pouget (L. d'Alauzier, 1985). Dans les années 1960, le château était encore à un du Pouget de Nadaillac (H. Viers, 1961, p. 215).
Le corps principal de l'édifice actuel conserve des parties d'élévation datables du 13e ou du 14e siècle. Une importante campagne de travaux intervient au milieu du 16e siècle, à en juger d'après la bouche à feu placée dans l'allège d'une fenêtre, avec en particulier la mise en place de grandes croisées et la construction d'une tour d'escalier polygonale. Les ailes en retour ne semblent pas, en revanche, être antérieures au 17e siècle, tandis que la façade sud est sans doute remaniée au début du 18e siècle, peut-être vers 1711, date inscrite sur l'un des bâtiments de communs, si l'on considère que les travaux peuvent être contemporains. Des pierres en attente dans l'élévation ouest du corps principal indiquent qu'une partie des constructions projetées n'a pas été réalisée.
Le château était en mauvais état en 1961 (H. Viers) ; il a été entièrement restauré entre 1968 et 1973 (notice Mérimée MH).
