Un membre de la famille de Roux est présent sur les lieux dès le 15e siècle. Il s'agit de Ludovici Rufi mentionné en 1489. En 1535, André Roux, pour lui et ses frères, reconnaît tenir « deux pelliers au devant de sa maison là où y a une gallarie sive bescaume, scitués à la rue de l'Amellier », soit deux piliers devant la maison formant un portique tenant lieu, à l'étage, de balcon. La charge de viguier royal de Villeneuve va se transmettre dans cette famille, du 16e au 17e siècle.