Le château aurait été à l'origine une possession des Barasc ; puis, au 14e siècle, apparaît dans les textes une famille de Gaillac : un Pierre de Gaillac est prieur de Livernon en 1322, et un Sicard, familier du pape Jean XXII, devient chanoine de Mende (C. Didon, 1996). En 1504, c'est noble Gilbert de Cajarc qui dénombre pour Gaillac, avec la seigneurie basse, un moulin, un port sur le Lot, etc., le tout relevant du roi (L. d'Alauzier, 1985). Au 17e siècle, la seigneurie passe aux Roquemaurel et elle est aux mains des Malet de Lajorie à la veille de la Révolution (C. Didon).£L'édifice n'a jamais l'objet d'aucune étude, et, à première vue, rien ne semble subsister des états antérieurs à la guerre de Cent ans. Le château aurait été entièrement reconstruit à la fin du 15e siècle ou dans la première du 16e siècle. Il est aujourd'hui divisé en six propriétés qui ont connu des évolutions différentes.