Les habitants d’Olemps étaient initialement inhumés à Rodez. Au début du 20e siècle, l’éloignement du cimetière de Rodez, transféré au nord de la ville en 1889 et l’importance des décès enregistrés entre 1896 et 1900 (92 pour une population égale à 680 habitants en 1901) incitent les habitants d’Olemps à réclamer la création d’un cimetière communal.
En septembre 1901, la municipalité émet un avis favorable et choisit un terrain situé près du village de la Mouline, en bordure du chemin vicinal n° 1 (côte d’Olemps), à 60 m au sud de l’Aveyron et à 105 m du château Gaillard. Au mois d’octobre suivant, l’architecte ruthénois Charles Lacombe dresse les plans de l’enclos d’une superficie de 1 820 m² (70 m x 26 m). Le projet est approuvé par le préfet le 25 septembre 1902. À la même époque, la municipalité projette de faire édifier un lieu de culte à proximité du futur cimetière. Une chapelle de secours est effectivement bâtie en 1909 grâce à une souscription, puis érigée en église paroissiale au cours des années 1960.
Le 17 janvier 1904, alors que l’entrepreneur Julien Gaubert a quasiment achevé les travaux de construction du cimetière, et conformément à l’ordonnance royale du 6 décembre 1843, le conseil adopte le règlement relatif à la construction des caveaux et fixe le tarif et l’emplacement des différents types de concessions. Selon ce règlement approuvé par le préfet le 5 février 1904, la partie supérieure du caveau doit être à 20 cm au-dessous du sol. Le dessus du radier du caveau ne peut être établi à moins 2 m du niveau du sol. La surface du monument ou mausolée à établir sur le caveau doit correspondre à celle de l’intérieur du caveau. La porte de ce dernier doit mesurer 80 x 80 cm et être établie sur le mur de face. Tout nouveau concessionnaire peut déposer gratuitement pendant trente jours le cercueil dans le caveau communal.
Comme l’indique le plan d’aménagement du cimetière, les concessions perpétuelles occupent le meilleur emplacement, au sommet du cimetière côté sud, le long du mur de soutènement (rectangles A et B). Les concessions trentenaires et temporaires sont quant à elles placées sur les petits côtés du cimetière, respectivement dans les rectangles C à l’est et D à l’ouest. Deux aires sont réservées aux fosses communes. L’emplacement de la croix du cimetière est signalé de même que celui du petit hangar destiné à recevoir les objets nécessaires au culte, effectivement construit en 1904 près du portail d’entrée à l’ouest.
La première personne inhumée au cimetière de la Mouline est Antoine Albinet, en février 1904 : la concession perpétuelle est offerte par la commune et située dans le cimetière commun (le monument est toujours existant). Le 1er mars suivant, Antoine Caubel, marchand de vins en gros et maire de la commune fait l’acquisition de la première concession. Il est suivi de près par deux membres du conseil municipal, Amans Sabatier et Antoine Panis le 9 avril 1904.
Parmi les tombeaux datant du début du 20e siècle, plusieurs portent la signature de marbriers ou tailleurs de pierre ruthénois ou olempiens : Henri Joulié, Louis Pouget, Alexis Marty (?) et Marius Dalquié. Ce dernier, comme Antoine Panis, tous deux tailleurs de pierre à la Mouline, ont leur sépulture dans le cimetière.
En décembre 1935, la municipalité décide d’agrandir l’enclos en raison de l’insuffisance de l’espace disponible pour la construction de nouveaux caveaux. Elle acquiert deux parcelles de terrain auprès de l’imprimeur Henri Colomb, situées au sud du cimetière existant, vers la ligne de chemin de fer. Le projet d’extension de près de 1087 m² (rectangle de 70 x 12 m) est élaboré par les architectes André Salvan et André Boyer en juin 1937.
Après approbation des plans par le préfet le 1er avril 1938, les travaux sont adjugés à l’entrepreneur Augustin Ferrié, d’Istournet à Sainte-Radegonde. Ils sont achevés en mai 1939. Le mur de soutènement initial au sud est arasé et percé de manière à faire communiquer l’ancien et le nouveau cimetière, qui dispose en outre de sa propre entrée à l’ouest.
Le cimetière est une nouvelle fois étendu côté sud à la fin des années 1960, d'après un projet du géomètre millavois Elie Ladouble (1968) ; il est béni le 2 novembre 1969 par le chanoine Cance, ancien curé de Marcillac.
Directeur de la société Drone Aveyron services.