La maison était celle que Jean-Baptiste Calvignac (1854-1934), figure du syndicalisme carmausin et maire socialiste de la ville. Il fut d'abord ajusteur à la mine, puis entrepreneur à titre privé, quand il exerça la fonction de maire de Carmaux (1892-1895, 1896, 1900-1929). La tradition familiale rapporte qu'il a dessiné les plans de la maison.
La tradition familiale rapporte aussi qu'autour de 1875, Calvignac a hérité de ses tantes le terrain sur lequel il construira sa maison. Les terrains étaient réputés pour les cultures maraîchères et il existait alors deux petites maisons de maraîchers que la maison Calvignac est venue remplacer. Calvignac a d'ailleurs longtemps loué les terrains environnants la maison à des maraîchers, en particulier la partie sud du terrain, où se trouve actuellement l'impasse Louis-Lumière. La tradition familiale rapporte également que, après la mort de son fils Aimé à l'âge de 20 ans, Jean-Baptiste Calvignac avait eu pour projet de donner cette maison à sa mort à la ville de Carmaux afin de constituer les bureaux d'un futur hôpital qui aurait été construit sur l'arrière. En effet, il n'existait à cette date que "l'hospice des mines et la municipalité souhaitait construire un groupe hospitalier sur le plateau sud-est, en bordure de l'avenue de Valdériès" (Descoutures, 1926), c'est à dire à l'arrière de la maison Calvignac. Le Plan d'aménagement et d'embellissement de la ville de 1926, qui constitue un projet de développement de Carmaux du temps où Calvignac était maire, représente effectivement un hôpital autour de la maison. Ce projet n'a pas été mené à bien et la maison est finalement revenue au fils de sa nièce, Hélène Ginestet, épouse de Sylvain Latour, venue s'établir à Carmaux pour s'occuper de l'intendance de la maison, après la mort de l'épouse de Calvignac. Le neveu, Jean Escudié-Calvignac, a donc finalement hérité de la maison.
Les deux dates de 1908 et 1924, inscrites sur le soubassement de la façade, de part et d'autre de la porte d'entrée, relatent le début et la fin des travaux (1924 étant la date de construction du muret de clôture côté rue). Calvignac lui-même aurait conçu la maison et dessiné la porte d'entrée en ferronnerie. Le chauffage central a été installé dans la maison dans les années 1930 par des ouvriers détachés de la mine.
Les aménagements intérieurs ont été repris dans les années 1960, en particulier toute la moitié nord, du rez-de-chaussée. Des lucarnes ont été aménagées sur l'arrière pour rendre les combles habitables. Dans le jardin, un garage a été ajouté près du pigeonnier.
