La mention du "castrum mercurii" au 7e siècle dans les Miracles de saint Didier induit que le château de Mercuès figurait dès cette époque parmi les possessions des évêques de Cahors. En 1254, il était aux mains de Barthélemy de Roux qui pourrait en avoir commandité la reconstruction. C'est ce que laissent supposer les caractères architecturaux de la tour du nord-ouest, dont la batterie d'archères à étriers triangulaires évoque les constructions capétiennes du milieu du 13e siècle.£L'angle sud-est des logis et sa tour maîtresse à mâchicoulis semblent procéder d'une reconstruction de la fin du 15e siècle, de même que la tour d'escalier en vis de l'aile ouest et l'essentiel du bâtiment réaffecté à usage de chapelle par Mgr Grimardias au 19e siècle. Cette reconstruction partielle est vraisemblablement l'oeuvre de l'évêque Antoine d'Alamand entre 1486 et 1488. Les mâchicoulis qui couronnent les deux tours principales sont apparemment plus tardifs, si l'on en juge par le faible calibre des trous de tir qui sont conservés dans ses parapets. Le portail d'entrée à pont-levis de même que celui qui ouvre sur l'escalier principal et dont les bossages sont à rapprocher de ceux de l'église paroissiale datent de la première moitié ou du milieu du 17e siècle. Une partie importante des élévations sur cour (aile sud) et des croisées à piédroits de briques et linteaux et traverses de pierre qui y sont percées datent de la même époque. On attribue ces aménagements à l'évêque Pierre Habert (1626-1637) qui fut sans doute également le commanditaire d'une part importante des lignes extérieures de défense. D'autres réaménagements, dont le plus important est constitué par l'aile sud-ouest, sont à attribuer au 18e siècle. Les crépis réticulés de faux appareils en font partie. Les lignes extérieures de défense et les fossés qui isolaient le château assemblent des ouvrages du Moyen Age (terrasse sud et angle de courtine au nord), du 15e ou du 16e siècle (tours de flanquement à l'ouest) et du 17e siècle (fossés).£Jardin d'agrément : plan de 1876 conservé sur place (rares vestiges actuels).