La maison est construite sur l'emplacement des premiers fossés de la ville. Elle présente des vestiges médiévaux au rez-de-chaussée.
La façade présente un alignement qui semble dater du 18e siècle, tout comme les plafonds des grandes pièces des deux étages.
La maison a connu une étape d'embellissement au début du 20e siècle (escalier, cheminées).
Elle aurait été celle du notaire Alfred de la Palme, enterré selon ses dernières volontés, sur la colline en face du village par son ami anglais. La maison présente les mêmes caractéristiques sur le plan cadastral de 1835.