Le château aurait été tenu à l'origine par les Roussillon, une famille de modestes chevaliers (C. Didon), dont un membre, Folc, est dit "seigneur du château de Roussillon" vers 1300 (J. Lartigaut, 1995). L'histoire de ses possesseurs avant la fin du 14e siècle est toutefois incertaine. G. Lacoste (1884) y fait résider les Antéjac dès les années 1230, et signale un Bertrand d'Antéjac ou de Roussillon connu vers 1280 ; Raymond d'Antéjac est seigneur de Roussillon en 1337, quand les consuls de Cahors craignent qu'il ne livre le château aux Anglais. Les de Jean commencent cependant à être possessionnés dans la seigneurie dès le début du 14e siècle : en 1305, Guilhamon de Jean détient le péage de Roussillon, sans doute sur la grand route de Cahors à Brive (J. Lartigaut, 1995).
Comme d'autres places occupées par les compagnies anglaises, Roussillon fait partie de celles dont les consuls de Cahors obtiennent le déguerpissement moyennant finance en 1359, installant en 1362 une garnison à Roussillon et à Valroufié dont Gaucelin (ou Gaucelm) de Vayrols voulait s'emparer. Capitaine chargé de la défense de Cahors, Gaucelin de Vayrols est nommé sénéchal de Quercy en 1369 par le duc d'Anjou, fonction qu'il occupe jusqu'en 1371, semble-t-il. En 1363, il a acquis Roussillon et Valroufié de Brayda de Jean, fille de Raymond de Jean (J. Lartigaut, 1995).
En 1430, Marguerite de Vayrols épouse Guillaume d'Auriole et lui apporte Roussillon, que les Auriole possèdent encore en 1504 : Aymar d'Auriole, seigneur de Roussillon, dénombre alors pour Roussillon, avec toutes justices et le château (L. d'Alauzier, 1984). Par le mariage en 1517 d'Anne d'Auriole, la seigneurie de Roussillon passe aux Gontaud-Cabrerets, qu'ils la conservent jusqu'au 18e siècle, mais en délaissant le château qui est affermé. Au 19e siècle, le maréchal de Gontaud-Biron cède le domaine à son intendant et le château commence alors à être démantelé : la description qu'en donne J.-A. Delpon en 1831 repose déjà sur des souvenirs.
Une tour pentagonale, semblable à celle de Laroque-Toirac et datable du 13e siècle, est le seul bâtiment conservé de l'édifice antérieur à la reconstruction par les Auriole à la fin du 15e siècle, à laquelle il faut peut-être ajouter quelques pans de maçonnerie en moellons réguliers qui apparaissent dans les murs sud et est. Les ruines portent quelques traces de modifications apportées par les 16e et 17e siècles.