Selon la monographie du chanoine Albe, la seigneurie appartenait tout entière à l'abbesse de Leyme mais quelques rentes appartenaient à d'autres seigneurs locaux. En 1439, Déodat de Corn, coseigneur de Corn et de Sonac, se disant seigneurs d'Anglars et de Rueyres.

Peu d'informations sont connus sur la seigneurie de Rueyres jusqu'à la Révolution. C'est à ce moment qu'arrive à Rueyres la famille d'Arcimoles. Cette famille venant de Sousceyrac apparaît dans les sources dès le 15e siècle d'après le chanoine Albe. Elle ne serait pas issue des rangs de la noblesse. En 1789, Guillaume d'Arcimoles est procureur du roi en l'élection de Figeac. Il est notamment le grand père de Mgr Pierre-Marie-Joseph d'Arcimoles, archevêque d'Aix en 1847, et de Pierre Darcimoles, conseiller général du Lot en 1833 dont sont issus les membres de la famille actuelle d'Arcimoles, propriétaires du château de Rueyres. Ces deux personnages sont indiqués nés à Rueyres. Installée sous l'Ancien Régime au château de Roumégoux à Théminettes, cette famille est contrainte de quitter leur château suite son incendie à la Révolution pour la demeure de Rueyres (Didon, p. 98).

La demeure est accompagnée de deux tours lui conférant des allures de petits châteaux. Son aspect actuel prend forme après plusieurs phases de construction dont la dernière au 19e siècle.

Un premier noyau serait établi dès l'époque moderne à en croire la porte chanfreinée conservée à l'intérieur de la tour ronde que l’on pourrait attribuer au 16e ou 17e siècle. Aucune autre trace de cette période n'a été observée depuis l'extérieur. La tour ronde qui dessert les différents niveaux du logis a été repercée pour accéder à un deuxième corps de logis au sud issu d'une autre phase de construction.

Cette deuxième phase de construction concerne le corps au sud et sa terrasse que l'on peut dater du 18e siècle. La datation est confirmée grâce à la date de 1744 inscrite sur le linteau d'une fenêtre du rez-de-chaussée de la terrasse. Ce linteau mentionne également le nom "DELPECH" indiquant peut-être le nom du propriétaire au 18e siècle.

Enfin, au cours du 19e siècle, la demeure est agrandie par un grand corps de bâtiment à l'ouest. Cet ajout n'apparaît pas sur le plan cadastral de 1824, il serait alors postérieur à cette date. Ce second corps est venu s'accoler en équerre au premier, l'ancienne chaîne d’angle est encore visible sur les maçonneries de l'élévation ouest. Cette phase de travaux peut être attribuée à la famille d'Arcimoles. La belle terrasse méridionale du 18e siècle ne donne pas directement sur le parc arboré situé à l'ouest. On peut supposer que ce parc a été aménagé postérieurement lors des travaux du 19e siècle.

Au sud de la demeure, une maison percée de larges ouvertures segmentaires au rez-de-chaussée faisant penser à une orangerie. Présente en 1824, on peut supposer par le style des ouvertures qu'elle fut édifiée au 18e siècle. Une fenêtre de l'étage a reçu pour appui un linteau chanfreiné en remploi.

D'après Albe (p. 269), un pont sur l'Ouysse serait édifié en 1650. Il pourrait s'agir du pont maçonné à arches établi près de la demeure, à l'ouest.