La cité de Milhars a été élevée pour les ouvriers de la Société des mines d'Albi ; les plans sont datés de 1914. Il s'agit de la première cité ouvrière de la SMA élevée à Cagnac.
Une école maternelle avait en outre été construite par la SMA à proximité pour les enfants de Milhars et de la cité voisine de la Tour, construite plus tardivement.