Rattaché à la vicomté de Turenne, Gluges apparaît comme un important lieu de passage sur un axe très fréquenté par les marchands et pélerins, entre Martel, dynamique bourg marchand, et Montvalent, chef-lieu de châtellenie. Au 13e siècle et au début du 14e siècle, la seigneurie est tenue en fief du vicomte de Turenne par les Lafon puis les Grenier (Champeval, 1976, p. 181) qui surveillent, pour le comte de leur suzerain, un passage et des gués sur la Dordogne ainsi que le port de Gluges-Montvalent (ou Copeyre). Les premiers sont peut-être à l'origine de la construction d'une première fortification troglodytique qui est qualifiée dans les sources du 14e siècle de "repaire de la Fon" (ou de la Font).

En 1314, des bourgeois de Martel, Pierre et Bernard Taillefer (ou Talhofer), achètent à Gaubert Grenier le repaire de la Fon de Gluges et les droits seigneuriaux associés, tels qu'un péage sur le passage sur la Dordogne et le droit de pêche (Guély 2002, p. 14). Les Taillefer restent à la tête de la seigneurie de Gluges jusqu'à la fin du 15e siècle, mais ils vendent la fortification établie à flanc de falaise à Etienne Faure, également bourgeois de Martel et seigneur de Mirandol. Ce dernier rend hommage pour le repaire de la Fon dès le 15e siècle. La famille de Taillefer conserve toutefois des possessions à Gluges, notamment une maison située à proximité du château. Un acte de 1515 concernant ce bien permet ainsi d'avoir une description relativement précise du site : la propriété, composée d'une maison, d'un jardin et du rocher, est localisée au Roc dit "la Maison de la Fon", confrontant avec la porte, la courtine et le chemin en degrés de ladite maison de la Fon de Taillefer (Guély 2002, p. 14). En 1643, la veuve du seigneur de Mirandol renouvelle l'hommage pour le repaire mais il semble que ce dernier ait été rapidement délaissé par les seigneurs successifs au profit de demeures nobles plus confortables.

Les structures conservées au niveau de la terrasse centrale pourraient correspondre à une première phase de construction datable du 12e ou du 13e siècle. En revanche, la porte qui marque l'entrée orientale est liée à des maçonneries moins soignées et prenant appui contre une ancienne chaîne d'angle : l'ensemble semble résulter d'un remaniement peut-être opéré au 15e siècle. Les assises de mur visibles à l'extrémité ouest du site témoignent également de remaniements ou d'une extension réalisé(e)s à une période tardive.