Une cheminée porte un cartouche contenant l'inscription "1580 V. MVRAT" qui pourrait correspondre à la période de construction de l'édifice, peut-être réalisée en deux campagnes. Le nom de Murat est fréquent dans le Lot et au-delà, et il est hasardeux d'y voir un descendant d'un Murat écuyer mentionné en 1545. Ce qui restait du château est vendu en 1788 par le duc d'Uzès, avec les bâtiments qui en dépendaient (et le domaine du Bousquet), à J.-Gabriel Murat, seigneur de Montay, dont le descendant, et maire d'Assier, conserva, après la vente du château à l'Etat en 1934, le bâtiment situé dans la basse-cour (A. Foissac, 1936 ; J. Depeyre, 1958). Une porte de remise a été ajoutée en 1793, date inscrite sur la clef de l'arc.
L'origine de l'appellation de "Grange des Bargues" ne semble pas connue.
