Le château de La Vayssière fait partie des mas dépendants des terres de la commanderie des Templiers de Cras ; il prend ensuite le nom des Gironde qui l'occupent au 14e siècle, une famille de riches marchands cadurciens anoblis en 1339 par Philippe VI. Au siècle suivant, la seigneurie est passée aux d'Auriole : Antoine d'Auriolle accense les environs de la borie de La Vayssière, alias de Gironde, en 1450, en se réservant le droit d'occuper la borie en cas d'épidémie à Cahors (C. Didon 1996) : le logis est-il encore habitable à cette époque ? Le château est dit en mauvais état en 1504, lorsque Jean d'Auriole, évêque de Montauban, dénombre pour Gironde qu'il tient du commandeur du Bastit et de Cras, avec toutes justices (L. d'Alauzier, 1984). En 1508, Aymar d'Auriole, seigneur de Roussillon, lègue Gironde à sa femme ; Antoine de Reganhac est maître des lieux en 1577, et la suzeraineté passe par alliance des d'Auriole aux Gontaud de Cabrerets qui la conservent jusqu'à la Révolution (C. Didon, 1996).£Les vestiges conservés peuvent être datés du 13e siècle d'après la forme de la fenêtre géminée.£Les deux corps de bâtiments construits à l'arrière sont modernes, du 18e siècle ou peut-être de la première moitié du 19e : l'un d'entre eux porte l'inscription "1830 JEAN LEMOZI".