Le cimetière et sa chapelle sont situés au sud-ouest de l’hôpital, auquel il est relié par une allée plantée de tilleuls et d’érables. On y accède par un portail monumental en arc brisé surmonté d’une croix latine. La grille en ferronnerie est ornée d’ancres, symboles de la vertu théologale de l’espérance.

De plan rectangulaire (49 m par 120 m), il est fermé par un mur maçonné en grand appareil et s’appuie à l’ouest sur un haut mur de soutènement, avec une avancée centrale convexe qui forme un balcon ouvert sur la vallée de l’Aveyron à la manière des fenestras qui ponctuent le tour de ville de Rodez.

L’ensemble du cimetière est enherbé et traversé au centre par une allée de cyprès qui conduit à la croix de cimetière érigée en 1950. De part et d’autre de cette allée s’élèvent plusieurs rangées de monuments funéraires, pour la plupart des croix en béton, signalant les tombes des anciens patients de l’hôpital (leur nom est inscrit sur une plaque). Elles composent ainsi un paysage semblable aux cimetières militaires américains aménagés notamment en Normandie.