Jacques Ricard de Gourdon de Genouillac (1465-1546), dit Galiot, a hérité de sa mère, Catherine du Bosc, du quart de la seigneurie d'Assier, et c'est en tant que seigneur du lieu qu'il apparaît dans le dénombrement de 1504 ; à Assier, qu'il tient de l'abbé de Figeac, il possède alors colombier, moulins, fours, etc. et la moitié de la seigneurie avec toutes justices (L. d'Alauzier, 1984). Ancien page de Louis XI, écuyer de Charles VIII, Galiot de Genouillac devient maître de l'artillerie en 1512, sous Louis XII, participe aux guerres d'Italie et suit François Ier en captivité après la défaite de Pavie (1525). Il accumule charges et récompenses : sénéchal d'Armagnac en 1498, du Quercy en 1517, Grand écuyer de France en 1525... et enfin gouverneur de Languedoc en 1546, année de sa mort.£Galiot de Genouillac a progressivement acquis différents biens à Assier, et toute la seigneurie, les dernières acquisitions étant de 1518 et 1534 (L. d'Alauzier, 1975, p. 133, 135). G. Lacoste situait le début du chantier du nouveau château en 1524, sans citer de source ; bien qu'il considère que les achats de parts de la seigneurie puissent être des sources indirectes, B. Tollon retient que le chantier d'Assier et celui du château de Montal, peut-être commencé dès 1519, se sont probablement déroulés parallèlement : les différentes campagnes de travaux du château d'Assier seraient donc à placer entre 1520 et 1540, porte d'entrée et loggia étant mises en place en 1535, date gravée retrouvée en 1954 (Calmont, 1967).

Le château antérieur à la somptueuse construction de Galiot de Genouillac n'est connu qu'à travers la mention de la "tour del Sal". J. Depeyre (1958, p. 64) pensait pouvoir en reconnaître les vestiges dans les deux tours détachées du quadrilatère, à l'angle sud-ouest devant la tour dite "des archives", et à l'est, près du moulin, mais il faut plutôt y voir des ouvrages avancés dont la fonction serait cependant plus démonstrative que défensive. La "Tour des archives", en revanche, montre trois états successifs, dont le premier est antérieur aux travaux des années 1520-1540 mais ne peut être antérieur au milieu du 15e siècle : ce serait donc un premier château construit par Galiot, et qui aurait été en partie englobé dans le grand château Renaissance.

A la mort de Galiot de Genouillac, tous ses biens échoient à sa fille Jeanne, veuve de Charles de Crussol d'Uzès, dont les héritiers écartèlent leurs armes avec celles des Genouillac. Après la disparition de Jeanne, le château d'Assier est délaissé. En 1768, François-Emmanuel Crussol, duc d'Uzès, en vend les matériaux à un menuisier du village et en 1786, ce qui subsiste du dernier corps de logis est vendu à un avocat : les gravures des "Voyages pittoresques et romantiques dans l'ancienne France" en montrent les ruines en 1835. Des pierres sculptées se rencontrent éparses dans le village et ses environs (H. Viers, 1958, p. 159-160) ; des médaillons d'empereurs romains provenant des élévations sur cour se trouvent aujourd'hui dans les collections du Musée du Louvre et au Victoria and Albert Museum à Londres, l'une de ses cheminées est aujourd'hui exposée au Metropolitain Museum of Art (MET) à New York. Classé Monument historique en 1901, le château est devenu propriété de l'Etat en 1934.

Le moulin (notice J. Bonhôte). Placé juste en amont de la perte du ruisseau d'Assier, le moulin est vraisemblablement édifié à l'emplacement de l'ancien moulin médiéval, entre 1515 et 1524. La salle des meules, au rez-de-chaussée, comporte une cheminée en pierre de taille du 16e siècle ; encore en place, les quatre paires de meules et leurs mécanismes peu usagés datent d'une modernisation tardive vers 1880, tout comme, en soubassement, les quatre rouets en métal, et, à l'étage, des vestiges de renvois d'angle qui servaient notamment à faire tourner une scierie extérieure au moulin. Le moulin a cessé de fonctionner en 1914.