La construction du nouveau château a sans doute été contemporaine de l'abandon du château de falaise mentionné en 1259 dans le Recueil des hommages rendus à Alphonse de Poitiers, et dont les ruines subsistent. La datation de l'édifice, ou tout au moins d'une partie du château, repose sur les renseignements historiques collectés par Jean Calmon (1957) et sur les récentes analyses de dendrochronologie (2009). Mais il faut tout d'abord écarter l'inscription gravée en haut de l'escalier, qui place la construction du château en 1309 (Hoc castellum aedificatum est in anno M.CCC.IX.) : il s'agit d'une inscription tardive, et aucune maçonnerie ne peut, en l'état actuel de nos connaissances, être attribuée au début du 14e siècle.
Les résultats des analyses réalisées sur des bois des plafonds et des charpentes de la tour sud-ouest, de la tour d'escalier et de l'aile sud invitent à situer l'ouverture du chantier en 1507 ou peu après, la mise en place de la toiture de la tour sud-ouest en 1512 et l'achèvement des travaux en 1514-1515. A cette campagne appartiennent aussi les deux tiers de l'aile ouest, qui n'a pas conservé de bois d'origine. La datation proposée correspond bien au décor sculpté dont le style est celui des environs de 1500, avant que n'apparaissent les motifs de la Renaissance. Les Gontaud résident à Cabrerets depuis le 15e siècle, Antoine de Gontaud ayant échangé, semble-t-il, en 1439 ses possessions du Rouergue contre d'autres en Quercy, dont Cabrerets pour lequel l'hommage reste à Antoine de Cardaillac-Bioule. Antoine II de Gontaud teste le 13 janvier 1520 dans le "château neuf de Cabrerès" (La Chenaye-Desbois et Badier, 1866). Lui succède Raymond de Gontaud, qui teste en 1542. Celui-ci a épousé en 1514 en premières noces Françoise de Bonnafous de Mayrinhac-Lentour et de Teyssieu, et c'est à eux que l'on attribue la construction du deuxième château (Calmon, 1957, p. 246). Il est tentant en tout cas de rapprocher les dates apportées par la dendrochronologie et celle du mariage de Raymond de Gontaud.
L'extrémité nord de l'aile ouest ainsi que la tour nord-ouest ne sont probablement pas antérieures aux dernières décennies du 16e siècle, à en juger d'après la forme des bouches à feu. Les pierres laissées en attente à l'angle nord-est du logis comme à l'extrémité orientale de l'aile sud montrent que l'édifice n'a pas été achevé.
Le château a été pillé pendant la Révolution, les écus aux armes des Gontaud-Biron martelés (Calmon, 1957, p. 257). Il est alors partagé entre plusieurs propriétaires, puis les différentes parties sont progressivement achetées par les descendants de Joachim Murat à partir de 1850 (la tour nord seulement vers 1940). En 1957, l'aile ouest présentait un crénelage "récent" qui a disparu depuis au profit d'un étage de comble.
Le château a accueilli le musée de préhistoire de Cabrerets de 1934 à 1964, date à laquelle le château a été vendu et les collections données à la commune.
La tour nord, dite de Marcenac, qui était ruinée, a été restaurée et en partie reconstruite en 1994-1997. La charpente de la tour sud-ouest a été refaite en 2008.
