Originaire de la région de Mazamet, Aubin Cabrol fait bâtir cette maison d'habitation à son arrivée en pays d'Olmes. Ayant dans un premier temps investi le moulin à farine du bourg, il décide ensuite d'installer une filature au village de L'Aiguillon ; celle-ci se situe en face de la maison. Tout près de la maison, Aubin Cabrol fait aussi aménager dans les années 1920 un jardin d'esthétique Art Déco, comprenant notamment des bassins et un petit pavillon de style néo-basque.

Le fils d'Aubin, Georges, assure la gestion de l'usine avec son père et finit plus tard par construire sa propre maison à l'emplacement du moulin.

A la mort d'Aubin Cabrol, en 1957, le jardin revient à sa fille, Jeanne Cabrol épouse Danjou.