Propriété de la famille de Castelnau depuis le Moyen Âge, le château passa par héritage aux Clermont-Lodève, puis en 1715 aux Luynes, qui s'en défirent en 1830. Il servit ensuite de carrière de pierre et, en 1851, un incendie détruisit en grande partie l'aile sud-ouest bâtie au XVIIe siècle. Ce monument que Prosper Mérimée jugeait difficile à restaurer changea encore plusieurs fois de mains, appartenant notamment en 1873 à l'abbé Selves, curé de Prudhomat. L'artiste lyrique parisien Jean Mouliérat (1853-1932), originaire de Vers près de Cahors, acquit le château en 1896 et entreprit sa remise en état en 1898. Il y rassembla des meubles médiévaux participant d'une reconstitution d'ambiance avec des tapisseries, des tableaux, des sculptures et des vitraux, collection éclectique qui fit de Castelnau « le plus beau château-musée qui existe en France » (article nécrologique, Le Figaro, 22 avril 1932). Soucieux d'en assurer la conservation, le ténor le légua à l'État deux jours avant son décès. Les centaines d'objets d'art répertoriés dans l'inventaire de sa donation sont principalement répartis dans les appartements du premier étage de l'aile ouest.
En plus de quelques panneaux civils acquis dans le marché d'art, les vitraux remontés dans les fenêtres du château sont essentiellement des « panneaux d'antiquaire » composés de petits fragments de verrières d'époques diverses, sans doute glanés dans des réserves d'ateliers. Parmi ces fragments pour la plupart réunis en panneaux-macédoine à visée purement décorative se distinguent quelques pièces significatives, entre autres normandes. Toute information manque sur le ou les peintres verriers qu'employa Jean Mouliérat pour agencer ces pièces dans les vantaux des différentes fenêtres closes de losanges ou de vitreries à bornes. L'oeuvre majeure de la collection est la verrière axiale de l'abside de la cathédrale de Quimper placée dans l'oratoire aménagé dans l'ancienne salle des gardes au-dessus de la tour d'entrée. Jean Lafond reconnut vers 1960 la provenance de ce Calvaire monumental à partir des dessins publiés en 1896 par Ottin (Lafond, 1962), et le cheminement de ce vitrail réalisé vers 1415 aux frais du duc Jean V de Bretagne est depuis en partie précisé : une création lui avait été substituée en 1857, bientôt remplacée pour des raisons esthétiques par une reproduction de la verrière originale remisée dans un dépôt. Celle-ci aboutit ainsi en 1869 dans l'atelier parisien d'Antoine Lusson, chargé d'en exécuter la copie, et y demeura probablement emmagasinée jusqu'à la disparition de l'entreprise en 1905 (Gatouillat, 2007, 2013). Réinstallée vers 1918 à Castelnau-Bretenoux, la verrière fut complétée et adaptée à son nouveau cadre, une baie en arc brisé sans meneaux percée pour elle.
Confiée à l'atelier d'Anne-Hélène Bras et Benoît Girault à Figeac, et à Anne Pinto pour la verrière quimpéroise, une campagne de restauration de l'ensemble des vitraux du château a débuté en 2007, chacun étant allégé des plombs de casse qui en altéraient la lecture. Les cotes administratives qui les désignent dans la succession des salles servent de fil conducteur au présent inventaire ; les mesures relevées excluent les filets d'encadrement modernes.
