La parcelle est identique à celle du cadastre napoléonien. La maison est construite contre la première enceinte médiévale, reconnaissable à son appareil en pierre de taille. Elle jouxte une porte fortifiée.

En décembre 1840, le conseil municipal vote l’acquisition de la maison, qui appartient alors aux héritiers Rey-Pailhade pour y fonder deux écoles publiques : l’une pour les garçons et l’autre pour les filles. Cette décision permet à la commune de se conformer à la loi de juin 1833, dite loi Guizot, qui organise pour la première fois l’instruction primaire en France. Les travaux sont réalisés par Louis Muratel, entrepreneur de travaux publics, sous la direction de l'architecte Victor Chaneau. Ils sont terminés en 1845.

L'école des garçons déménage vers 1869 dans un immeuble appartenant à Emilien Delhon. L'école des filles et la salle d'asile (école maternelle), sont maintenues dans la maison Rey-Pailhade jusqu'à la construction du groupe scolaire sur la Promenade, dont les travaux sont terminés en 1907.