Installé sur un surplomb dominant la vallée de la Dordogne, le château a été construit entre 1519 et 1534 par Jeanne de Balsac, dame de Montal. Jamais achevé, ce chef-d'œuvre de la Renaissance se distingue par l'exceptionnelle richesse de ses sculptures.
Au début du 16e siècle, la seigneurie de Saint-Pierre, sur la paroisse de Saint-Jean-Lespinasse, est acquise par les seigneurs de Balsac d'Entraygues. Jeanne de Balsac, épouse du seigneur de La Roquebrou, Amaury de Montal, y entreprend d'importants travaux à partir de 1519. Au repaire médiéval, succède un château de plaisance, pourvu d'une décoration sculptée exceptionnelle. Les deuils successifs qui affectent Jeanne de Balsac, veuve depuis 1510, mettent un terme à ses projets et, dès 1534, les travaux sont suspendus. Le nouveau château, portant désormais le nom de la dame de Montal, ne sera jamais terminé : deux ailes seulement sur les quatre prévues sont achevées. Les deux fils de Jeanne et d'Amaury de Montal disparus avant leur mère, morte en 1559, c'est le fils du cadet Dordet, Gilles, qui reçoit la charge de la seigneurie. Celle-ci passe par héritage aux Pérusse d'Escars, puis à diverses branches collatérales au cours des 17e et 18e siècles. En 1771, la seigneurie est vendue au comte de Plas de Tanes.
Proposé comme bien national en 1793, le château, abandonné et en fort mauvais état, ne trouve pas d'acquéreur. Il est restitué au comte à son retour d'émigration. Utilisé comme auberge, il est acheté par un banquier de Saint-Céré, puis par un marchand de biens, Macaire du Verdier, en 1879. Ce dernier accomplit en peu de temps une sinistre besogne. La frise sculptée, les portes, lucarnes et cheminées sont démontées pierre à pierre et expédiées à Paris. En deux ventes, une partie des lots trouve acquéreur et le château, saisi par les créanciers, semble condamné. L'un des éminents collectionneurs qui a déjà réuni plusieurs éléments de sculptures, Maurice Fenaille, réussit enfin à acquérir le château en 1908. Ses connaissances historiques, sa fortune et ses relations vont lui permettre de mener, avec autant de rapidité que d'efficacité, une action de sauvegarde magistrale. Ce qui ne peut être acquis auprès des acheteurs des ventes de 1881 et 1903 est copié par l'un des meilleurs artisans de l'époque, Matruchot, travaillant pour Rodin. En 1913, Maurice Fenaille fait don à l'Etat du château de Montal, restauré et admirablement meublé, avec une réserve d'usufruit pour lui et ses enfants.