A l'origine siège d'une vicairie, le castrum de Cazillac fait ensuite partie de la vicomté de Brassac, jusqu'à la vente, au 12e siècle, du fief de Brassac au vicomte de Turenne. Des Cazillac sont connus dès le début du 13e siècle. Après la prise de château par la compagnie anglaise de Ramont del Sort en 1390, le vicomte de Turenne ordonne sa démolition, ordre qui n'est cependant pas été exécuté par le baron de Cazillac. La forteresse est néanmoins définitivement abandonnée.
Les parties conservées du donjon peuvent dater de la fin du 12e ou de la première moitié du 13e siècle.
