Isolé à l'extrémité d'une serre, le château de Lacoste, parfois appelé à tort château de Grézels, domine à distance le bourg de Grézels et la vallée du Lot. Entre les deux subsistent les vestiges d'une motte. En 1480, toutefois, on mentionnait encore une "bourgade" à Lacoste. Celle-ci semble avoir disparu au 17e siècle alors que la reconstruction du château s'opérait et seuls quelques murs ayant pu appartenir à une enceinte semblent en perpétuer le souvenir en contrebas du château actuel. L'édifice se présente aujourd'hui sous l'aspect d'une importante maison forte dont les couronnes continues de mâchicoulis et les volumes sévères cantonnés de tours carrées évoquent la silhouette des grands châteaux italianisants des Charentes dont le Château-Chesnel passe pour avoir constitué le prototype.

Une courtine encadrée par deux tourelles rondes à mâchicoulis ferme la cour côté plateau. Son portail muni de deux rainures indique qu'il disposait d'un pont-levis et qu'il était donc précédé par une tranchée. L'une des tourelles, à gauche de l'entrée abritait un oratoire qui apportait au système défensif le concours d'une protection sacrée ce qui n'excluait pas la présence de canonnières de faible calibre, certaines d'entre elles percées dans les allèges de fenêtres. A l'opposé de la courtine, le logis principal occupe le front sud de la cour carrée et bénéficie des vues sur la vallée du Lot. Ses couronnements de mâchicoulis se prolongent sans décrochement sur ceux de deux gros pavillons saillants établis à la même hauteur. Sur la cour, un troisième pavillon, dans l'œuvre celui-ci, abrite l'escalier à volées droites. Il dominait la façade avant que celle-ci ait été surélevée. La porte d'accès surmontée d'un fronton à volutes interrompu par une fenêtre en tabernacle, s'inscrit dans une travée de croisées. Le style de cette porte, de même que celui des grandes croisées doubles des façades et des canonnières en cupules suggère de les attribuer aux premières décennies du 17e siècle.£Toutefois, l'homogénéité architecturale de l'édifice n'est qu'apparente. Les maçonneries de l'édifice recèlent en effet, dans les parements extérieurs comme sous les enduits intérieurs, les vestiges d'un édifice médiéval primitif dont les premières mentions apparaissent en 1284. Les vestiges d'archères, de soupiraux chanfreinés et les trilobes d'une fenêtre à colonnette, de même que les parements de moyen appareil habituels dans les maçonneries médiévales permettent de restituer de proche en proche les contours du repaire de la fin du 13e siècle. Ces indices montrent que ce repaire se composait en fait d'une épaisse tour carrée et de deux logis en équerre venus s'y adosser. La "turris" de Lacoste, dont les vestiges sont identifiables par l'appareillage massif de ses maçonneries, n'existe plus que par l'une de ses élévations. Son implantation inhabituelle en contrebas de la terrasse rocheuse qui constitue la cour du château, est peut-être due à des problèmes de sol ce qui expliquerait son effondrement, survenu semble-t-il peu avant la reconstruction de l'édifice entreprise à la fin du 16e siècle. Le repérage des raccords de maçonneries montre que cette tour avait précédé sur le site l'édification des logis médiévaux venus s'y adosser, eux-mêmes attestés dès 1284. Il semble donc que la "turris" ait été originellement isolée. Ses vestiges, encore lisibles sur une hauteur de 12 m, appartenaient à un édifice de plan carré, de 7,85 m de côté et aux murs épais de plus d'1,70 m. La disparition des percements ne permet plus d'en préciser la distribution. Toutefois, les traces de deux retraites de maçonneries indiquent qu'il s'agissait d'une tour planchéiée, de trois niveaux au moins. Le testament de Finelle, veuve de Bernard II de Guiscard (1286), induit que cette tour, antérieure à l'"ostal" de son époux, aurait pu être édifiée par le père de ce dernier, dès avant 1250. La présence d'une baie à colonnette dans la cage d'escalier de l'édifice du 17e siècle, de même que les archères et les chaînes d'angle qui apparaissent à l'examen de la façade sur cour, jalonnent le contour des anciens logis qui s'adossaient à la "turris". Composés de deux ailes distinctes, ils enveloppaient la tour sur ses deux côtés est et sud. L'aile la plus ancienne, fondée sur la terrasse rocheuse, occupait une emprise de 7,5 m sur 14 environ et laissait dégagé l'angle sud-est de la "turris". Elle comportait deux niveaux au moins, à en juger par la chaîne d'angle bien apparente en façade qui marque encore son angle sud-est. Deux archères adoucies par un large chanfrein subsistent à la base de son élévation sud. Sur des soubassements contemporains de cette première salle, une extension en équerre fut édifiée après-coup à l'est. L'irrégularité de son plan implique plusieurs pièces et induit a contrario que la "sala" dans laquelle Bernard de Guiscard reçut l'hommage de ses vassaux en 1284 était incluse dans l'aile précédente. Deux fenestrons chanfreinés, dont les linteaux d'embrasures étaient classiquement soulagés par des coussinets, en marquent les deux premiers niveaux. Le troisième niveau, outre les vestiges d'une armoire murale, conserve les traces d'une baie géminée ouverte dans une embrasure à coussièges. Le chapiteau en a disparu mais la base de la colonnette ornée de griffes et le trilobe aigu qui étoffe ses intrados, conduisent à l'attribuer au dernier quart du 13e siècle voire au début du siècle suivant.