Le château de Cavagnac est implanté à l'extrémité d'un promontoire dominant la vallée de la Tourmente, au contact immédiat de l'église paroissiale et d'un modeste bourg castral. Il dispose ainsi d'une vue étendue sur la vallée de la Tourmente, face au donjon de Cazillac.

En vis-à-vis du parvis de l'église, un portail moderne adossé à une grange ouvre aujourd'hui sur une avant-cour, laquelle précède un second portail encadré par des pilastres néoclassiques. Autour de la seconde cour, de plan carré, se développe un ample logis en équerre, relié par une courtine moderne à l'ancienne tour-maîtresse établie au milieu de la face occidentale. Un gros mur-bouclier en éperon, couronné de mâchicoulis, s'interpose entre l'aile orientale et le premier portail. A l'arrière du quadrilatère de logis une esplanade de jardins occupe la pointe de l'éperon. Elle est cernée par un mur d'enceinte formant fausse braie et flanquée de tourelles en fer à cheval. L'une de ces tourelles protège une poterne réaménagée au 17e siècle et ouvrant côté vallée.

Projeté en avant de l'ancienne enceinte dont ne subsistent plus que les accroches, le pavillon pentagonal, insolite "faux donjon", tournait vers l'entrée un épais éperon de maçonnerie destiné, semble-t-il, à résister à des tirs d'artillerie à en juger par son épaisseur : 3,40 m à la pointe pour des murs latéraux de 1,70 m. Une cave voûtée en occupe le rez-de-chaussée. Elle surmonte un puits sec de plus de 20 m de profondeur, retaillée dans le roc à partir d'une cavité naturelle. Une meurtrière profonde mais de faible calibre, orientée vers l'entrée, en constitue le seul dispositif défensif.£Un escalier en vis, aménagé après coup dans la masse de l'éperon, permettait de relier cette salle basse aux étages, à usage de chambre. Un second escalier, aménagé dans un angle opposé prenait le relais pour joindre les combles et donner accès aux mâchicoulis par l'intermédiaire d'un simple créneau ménagé dans le comble. Non sans une certaine sophistication, la galerie de mâchicoulis, étant droite, ne suivait donc pas le tracé de l'éperon et nécessitait un accroissement progressif de la hauteur des consoles vers les angles. On peut supposer que cette bizarrerie eut au moins pour effet de simplifier le tracé des toitures.

Le deuxième étage du pavillon, le mieux conservé, est dallé aujourd'hui par les anciennes marches de la grande vis disparue. Eclairé par une grande croisée chanfreinée dont les meneaux dormants étaient en menuiserie, elle était chauffée par une vaste cheminée encastrée au revers de laquelle une longue gaine traversant l'éperon menait à des latrines.£La tour féodale, la "turris", est un ouvrage de faible ampleur (5,85 x 5,65 m), épaissi à la base par un soubassement à ressaut qui porte ses dimensions à 6,20 m. Elle était couverte jusqu'à une époque assez récente, par une toiture en ardoises, surmontée d'un clocheton. La brèche qui donne accès à sa salle basse résulte d'un percement relativement récent. Ce caveau était donc accessible à l'origine, depuis le premier étage qui était l'étage d'accès. Porté par un plancher établi sur de fortes retraites, cet étage était initialement couvert par une voûte en berceau dont seuls les reins et le cordon d'imposte en quart de rond ont été conservés. Deux portes lui donnaient accès, l'une tournée vers la cour, face est, l'autre vers l'extérieur, face ouest.

La porte ouvrant vers l'extérieur est couverte par un arc en plein-cintre composé de claveaux profonds. Son arrière voussure est en arc segmentaire. La seconde porte, située à 5,70 m environ au-dessus du niveau de la cour, est percée au milieu du panneau est. Différente de la première, elle est couverte par un arc brisé segmentaire composé de claveaux très inégaux en grès rouge et semble avoir été repercée dans la maçonnerie d'origine. Il faut donc supposer que la "turris" était primitivement accessible depuis l'extérieur de l'enceinte. La salle d'accès était initialement couverte par une voûte en berceau reposant sur deux cordons d'imposte en quart de rond. Un jour en meurtrière l'éclairait au sud.

Au-dessus du premier étage, la tour comportait deux étages supplémentaires, le dernier étant couvert par une voûte en berceau portant la terrasse sommitale. Dans l'élévation nord, au dernier étage, une ancienne porte murée couverte par un linteau à coussinets donnait probablement accès à une guérite de charpente comme le laissent supposer les quelques trous d'encastrement soigneusement rebouchés qui l'encadrent.£Des vestiges tangibles de l'ancien logis médiéval sont conservés dans l'aile orientale du château. Au-dessus de la porte qui fait communiquer les cuisines avec l'extérieur subsistent deux claveaux d'une ancienne porte condamnée, près de la quelle se remarquent également les vestiges d'un piédroit adouci par un chanfrein mince correspondant vraisemblablement à une ancienne fente de jour ou une archère. L'épaisseur du mur extérieur de l'aile de logis (1,77 m), et le repérage des plages d'appareil moyen montrent que le logis médiéval se prolongeait au sud jusqu'à l'angle des logis actuels. Au nord, les maçonneries médiévales se perdent dans celles du pavillon bastionné qui les a enveloppées. On peut cependant leur attribuer la petite cave attenante au rez-de-chaussée du pavillon. Sur la cour, l'angle primitif du logis est repérable à la jonction du pavillon sur 1,20 m environ. Après une interruption de 1 m, les maçonneries médiévales régulièrement appareillées sont à nouveau apparentes en partie basse. Le reste de l'élévation sur cour, parementé de blocage de moellons bruts serait à attribuer aux 15e et 17e siècles. Ces repérages permettent de restituer un logis assez vaste, de 23 m de longueur su un peu plus de 9 m de largeur hors-oeuvre, établi à 19 m de distance de la "turris", sur la face opposée d'une cour que l'on peut supposer délimitée par un mur d'enceinte.