Le fief appartient au 14e siècle aux Othon (C. Didon, 1996). En 1460, le seigneur (dont le nom n'est pas connu) du repaire de La Gache oblige un tenancier à quitter la maison qu'il avait été autorisé à bâtir dans l'enceinte, et l'autorise à prendre des pierres de taille du mur d'enceinte pour construire sa nouvelle habitation (J. Lartigaut, 2001, p. 124). En 1466, noble Jean de Boysson, marchand de Figeac, "arrente" sa borie de La Gache, avec possibilité de s'y retirer en cas d'épidémie, mais il n'agirait pourtant que comme tenancier (J. Lartigaut, 2001, p. 322). Les Lascases en avaient-ils conservé la seigneurie que Delphine Othon, remariée avec Guillaume de Lascases, récupère vers 1450 à la suite d'un long procès (C. Didon, 1996) ? Ce sont eux qui possèdent en tout cas La Gache au 16e siècle et qui, restés catholiques, se heurtent aux Cornely, seigneurs protestants de Camboulit : en 1573, Charles de Cornely s'empare de La Gache et fait démolir le repaire. En 1634, Jean de Lascases vend La Gache à un bourgeois de Figeac, Jean Cassagnes, et en 1684, les Gary sont devenus seigneurs des lieux (C. Didon, 1996).£L'édifice actuel conserve des parties datables du 14e siècle, et les marques d'une importante reconstruction qui peut se situer à la fin du 16e siècle ou au début du 17e.