Les Goudou, qualifiés de chevaliers, apparaissent au 12e siècle dans le cartulaire d'Obazine ; au 14e siècle, un Guillaume de Goudou est nommé vice-chancelier de Sicile puis archevêque de Salerne (C. Didon, 1996). Le dernier représentant masculin connu de la famille est Aymeri, en 1386 ; en 1428-1430, noble Delphine de Goudou est veuve de Barthélemy Lacalm, marchand de Figeac, et la seigneurie passe ensuite aux Garnet, leurs héritiers (Géraud de Garnet s'intitule souvent seigneur de Goudou), puis aux Lentillac par le mariage en 1544 de Jeanne de Garnet avec Gabriel de Lentillac, enfin par alliance et héritage aux Corn et aux Lostange-Béduer qui restent seigneurs de Goudou jusqu'à la Révolution (L. d'Alauzier, 1942).£La tour qui forme la partie centrale des corps bâtiments antérieurs au 19e siècle peut dater du 14e siècle. Des modifications ont été apportées à la fin du 15e siècle ou au début du 16e siècle, mais l'édifice a surtout fait l'objet d'une importante campagne de travaux au 17e siècle.£Le château a été vendu après la Révolution et un nouveau corps de bâtiment a été ajouté au sud vers 1880 (C. Didon, 1996) ; A. Pezet (1881) indiquait que l'on avait alors "abattu les galeries qui contournaient toute la partie supérieure", lui ôtant "son cachet féodal".