Le château de la Servayrie est le seul bâtiment conservé d’un complexe fortifié de quatre châteaux dont les origines remontent au 12e siècle. La partie la plus ancienne de l'édifice pourrait à ce titre dater des environs de 1200. Il semble qu'au milieu du 14e siècle, lors de la guerre de Cent Ans, la partie suprieure de l'édifice ait été détruite, entraînant une reconstruction partielle au cours du 15e siècle.£A la fin du 16e siècle, le château connaît une nouvelle campagne de travaux. Elle s'achèvera dans le premier quart du 17e siècle avec la création d'une imposante tour abritant l'escalier et d'une échauguette d'angle.£Vendu comme bien national à la Révolution, l'édifice sera longtemps détenu en copropriété par plusieurs familles et le manque d'entretien causera progressivement sa ruine. Racheté en 1993, l'édifice connaît de nombreux travaux de restauration depuis. Les jardins médiévaux en restanques sous le château ont fait l'ojet de reconstitution dans les années 1993-1995.