Au cours de l'année 1943, l'Etat nazi crée la 13e division SS Handschard, sur la base d'un recrutement de soldats originaires de Croatie et de Bosnie-Herzégovine. Plusieurs d'entre eux ont été intégrés de force. Au début du mois de septembre 1943, le 13e bataillon de cette division est envoyé à Villefranche-de-Rouergue pour une série d'entraînements et plus largement pour renforcer la présence allemande dans la zone sud et faire face à l'éventualité d'un débarquement allié par la Méditerranée. Ces soldats sont logés dans plusieurs établissements d'enseignement de la ville. Les officiers sont quand à eux logés à l'Hôtel Moderne. Des prés dans le terroir Sainte-Marguerite sont réquisitionnés pour faire paître les chevaux. Subissant d'atroces brimades, un groupe de soldats fait irruption à l'Hôtel Moderne, dans la nuit du 16 au 17 septembre 1943, où ils capturent 5 officiers allemands. Un officier parvient à s'achapper et donne l'alerte. Les autres officiers sont exécutés. Au petit matin, la ville est encerclée par les renforts allemands venus de Rodez et des garnisons alentours. Après une chasse à l'homme dans les rues de la ville, les révoltés sont tués et d'autres sont capturés. Quelques uns parviennent à s'échapper et à rejoindre les campagnes environnantes. Parmi les prisonniers, certains sont déportés dans les camps de concentration et les autres sont torturés, fusillés et ensevelis dans les terrains réquisitionnés. Avant l'élévation d'un monument, la municipalité de 1944/1945 fait entourer le charnier d'une clôture. Le 2 décembre 1946, le préfet de l'Aveyron charge l'architecte départemental de la préparation du dossier d'acquisition et d'aménagement du terrain. Quelques années plus tard, le 8 octobre 1950, le monument dit provisoire érigé par les soins du gouvernement yougoslave est inauguré. Le 17 septembre 2006, un mémorial dédié à la mémoire des Martyrs Croates et Bosniens est inauguré et remplace le monument provisoire. Ce dernier a été détruit, il n'en subsiste que la plaque commémorative conservée au musée municipal Urbain Cabrol.