Le château de Saint-Alban faisait partie de la baronnie d'Apcher. En 1188 il est mentionné pour la première fois dans un hommage de Guérin d'Apcher à l'évêque de Mende Guillaume IV de Peyre. Par le jeu des alliances et des héritages, il passe au XIVe siècle à la famille de Calvisson. En l'absence d 'étude archéologique il est difficile de faire l'histoire de la construction de l'édifice. Un premier château a sans doute été élevé au 11e ou au 12e siècle pour les barons d'Apcher. Le massif de forme arrondie situé dans l'angle nord-est pourrait être le reste d'un donjon. Le château aurait sans doute été agrandi ou en partiellement reconstruit au XIVe siècle. Au XVIIe siècle, la forteresse médiévale est transformée en une demeure au goût du jour. Le corps de bâtiment sud est aménagé : création d'une façade au sud avec une porte d'entrée monumentale donnant sur un porche voûté, aménagement du corps de bâtiment Est avec son escalier et surtout, la construction des trois galeries superposées au fond de la cour. Le tout fait dans un bel appareil de grès rose, "bigarré" provenant d'une carrière proche de Saint-Alban (pierre de Rouget). Ces aménagements ont peut-être été réalisés pour Aymar de Calvisson qui meurt vers 1626 en laissant une succession compliquée et des dettes importantes. La qualité du décor et des aménagements sont le fait d'un architecte de qualité dont l'identité reste à découvrir. La seigneurie de Saint-Alban ainsi que tous les biens qui en dépendent sont vendus en 1652 à la suite de nombreuses actions en justices devant le Parlement de Toulouse, à Charles de Molette, marquis de Morangiès. Le château restera propriété de cette famille jusqu'au début du XIXe siècle. Il est alors vendu une première fois à Sylvain Boissier en 1621 puis en 1824 au département de la Lozère pour y installer l'asile d'aliénés fondé par Hilarion Tissot (cf dossier de l'hôpital psychiatrique). La construction des ailes attenantes au château est sans doute postérieure. En 1971, à la suite d'un incendie qui ravage les combles, les malades sont évacués du château. Classé Monument Historique depuis 1942, d'importants travaux ont été engagés après l'incendie : réfection des combles et des toitures, dégagement de l'élévation nord, démolition d'une chapelle construite au 19e siècle sur le flanc sud, et surtout restauration des élévations du 17e siècle et du décor architectural