Pour L. Limayrac (1885), c'était au 10e siècle que le fief de Boisse avait été donné aux Lapérarède ; en fait la famille ne s'installe dans le petit château de Cognossac qu'à la fin du Moyen Age (F. Hautefeuille, 1998). En 1445, Jean de Lapérarède baille à fief une maison appelée "cambra nova", une autre maison et une tour à Guillaume et Jean Chapus, puis une maison et une tour au "pech" de Cognossac, confrontant ses fiefs et le fossé de la maison, à Etienne de Monteils originaire de Saint-Flour ; en 1446, une maison située dans la "salla" de Cognossac est tenue par R. Rigal (A.D. Lot, 48 J 6 ; F. Hautefeuille, 1998). En 1504, la maison que dénombre Blaise de Boisse, alias de la Pérède, à Boisse, est encore appelée Cognossac (L. d'Alauzier, 1984). Par le mariage en 1503 de Catherine de la Pérarède, la seigneurie passe aux Eslacs (ou Eslax) ; elle appartient en 1699 à Henri-Joseph de Salignac-Fénelon, puis aux Gardarenc. Le château est pillé pendant la Révolution (C. Didon, 1996).£Sous réserve d'une étude de l'édifice, il semble que rien ne subsiste du repaire antérieur au 15e siècle (C. Didon mentionne cependant une fenêtre qu'elle attribue au 13e siècle). L'état le plus ancien date de la reconstruction de l'édifice au 16e siècle.