Le château de Castelnau-Bretenoux est implanté à l'extrémité d'un plateau dominant le triple confluent de la Dordogne, de la Cère, de la Bave et du Mamoul. Cette situation remarquable lui permettait de commander un vaste horizon que surveillaient également les tours de Saint-Laurent sans que les deux forteresses ne bénéficient d'une vue réciproque. Le château s'inscrit dans une enceinte triangulaire de 80 m de côté environ. Remarquable par son exceptionnelle série de fenêtres à colonnettes, la tour de l'Auditoire n'a, paradoxalement, jamais retenu véritablement l'attention des spécialistes. Il est vrai que de nombreux remaniements, dus pour l'essentiel aux Clermont-Lodève dans la seconde moitié du 17e siècle, puis un incendie survenu en 1851, et suivi de diverses restaurations, l'ont passablement altéré. Ainsi ont disparu notamment les peintures murales du 15e siècle signalées naguère par Jacques Juillet. Les parements et les percements portent par ailleurs les traces de multiples reprises et les niveaux semblent avoir été plusieurs fois modifiés avant d'être matérialisés dans leur état le plus récent sous la forme d'épais planchers de béton armé réalisés récemment. Au total, l'édifice est donc loin d'être homogène et la lecture de ses dispositions médiévales s'en trouve compliquée.

L'Auditoire est établi sur le rebord sud-ouest de la terrasse triangulaire que délimite l'actuelle enceinte supérieure du château. Adossées à la dénivellation, ses bases reposent sur une encoche entaillée dans le roc, peut-être une ancienne carrière, et ont été partiellement enterrées dans le remblai des fausses braies du 15e siècle. Il se présente a priori sous l'aspect d'une tour-salle d'environ 12 m sur 10, superposant cinq niveaux. Toutefois, certains des niveaux actuels semblent résulter de recoupements tardifs. Un mur de refend, rapporté sans doute au 17e siècle et indiqué sur la plupart des relevés anciens, a été supprimé lors des dernières campagnes de restauration.

Le premier niveau est constitué aujourd'hui par une cave voûtée en berceau, défoncée dans le roc sur trois de ses côtés et en sous-sol côté cour.

Au-dessus de cette cave, un second niveau voûté est accessible de plain-pied depuis la cour. La porte d'entrée est en plein-cintre légèrement déformé, à arêtes brutes et large clavage. La voûte en berceau est tardive (17e siècle) et sa mise en place a nécessité d'une part d'épaissir les maçonneries, d'autre part de condamner une petite fenêtre médiévale, caractérisée par ses piédroits soulignés d'un quart de rond analogue à celui des grandes fenêtres à colonnettes. Par ailleurs, la présence de retraites importantes sur les élévations intérieures ouest et sud à la hauteur de l'arrière voussure de la porte médiévale conduisent à supposer que celle-ci pourrait résulter d'une première modification des niveaux originels.

Le troisième niveau disposait, côté cour, d'une large porte cintrée soulignée par un larmier, remplacée après la guerre de cent-ans par une porte plus étroite à linteau en accolade, puis par une troisième porte repercée à l'époque moderne. Cette porte, établie à 3,50 m au-dessus du niveau de la cour, devait être précédée par un perron. La monumentalité de ses proportions et la richesse de son décor architectural la désignent comme la porte d'une " grande salle" que les aménagements du 17e siècle auraient considérablement banalisée. Le niveau supérieur, porté aujourd'hui par un plancher de béton, a vraisemblablement été recoupé dans cette salle qui aurait eu plus de huit mètres de hauteur. Dans cette hypothèse, il faut restituer à ce niveau la grande cheminée à hotte conique dont le foyer a disparu. Cette cheminée, assise sur un massif de maçonnerie en saillie et montant de fond, devait être d'un modèle voisin de celle du bâtiment des chanoines du Puy ou de la maladrerie de Périgueux. Les cheminées actuelles, ainsi que les croisées, comme celles du niveau supérieur, sont des apports du 17e siècle. Les croisées ont remplacé une grande baie rectangulaire, murée au 17e siècle, semblable à celles de la chapelle et attribuable comme elles au 15e siècle.

Au quatrième niveau, on constate que le plancher actuel, mis en place lors d'une récente restauration, n'a pas repris l'ancien niveau du 17e siècle, dont les solives sectionnées sont visibles 0,90 m plus haut, mais s'est arbitrairement aligné sur les niveaux des bâtiments voisins. Sur le pignon nord apparaissent les traces d'un arc de décharge qui correspond à un voûtement en berceau brisé dont l'arrachement est observable sur l'élévation intérieure mais qui n'a laissé aucune trace sur le pignon sud. On remarque cependant que le pignon sud dispose lui-aussi d'un arc de décharge visible sur ses deux parements. Mais celui-ci est établi à un niveau différent et selon un profil aplati qui ne correspond pas à celui du nord. A partir de cette observation deux hypothèses peuvent être émises. La première conduit à supposer un voûtement en berceau brisé sur l'ensemble de la salle, et une reconstruction partielle après effondrement de celui-ci. La seconde suppose que l'arc du pignon nord, supportait un emmarchement permettant d'accéder à l'étage supérieur, selon un dispositif que l'on connaît ailleurs. Deux croisées repercées au 17e siècle éclairent cet étage qui n'a conservé aucune trace apparente de baies médiévales.

Le cinquième et dernier niveau est celui des grandes fenêtres médiévales. Trois fenêtres subsistent sur la face sud, auxquelles font face deux autres fenêtres sur la cour. Une sixième baie, condamnée depuis le 17e siècle, ouvrait sur le pignon nord. Ces grandes fenêtres quadruples, semblables, ouvraient dans des embrasures en berceau brisé surbaissé. Curieusement, à en juger par les arrachements observables dans les parements à hauteur des allèges, il semble qu'elles étaient établies soit au niveau du sol, soit au niveau d'une retraite ou d'une banquette courant autour de la pièce à une hauteur de 0,65 m du sol actuel, laquelle aurait été supprimée tardivement. De fait, aucune des deux hypothèses n'est véritablement satisfaisante. La disposition des armoires murales, à 1,10 m du plancher actuel accrédite incontestablement la seconde hypothèse mais cette dernière suppose un sur-épaississement de la maçonnerie qu'aucun dispositif de permet de récupérer à l'étage inférieur. Une troisième hypothèse revient à considérer que l'aménagement de la salle a pu nécessiter la surélévation d'un bâtiment antérieur en même temps que l'amincissement de ses maçonneries. Cette dernière hypothèse que rien ne permet de vérifier mais qui paraît la plus plausible suppose que l'aménagement de la salle soit intervenu après l'effondrement de la voûte de la salle située au-dessous et se soit accompagnée d'une reconstruction presque complète de l'édifice. Les grandes fenêtres de la salle haute, bien que réalisées simultanément, présentent des différences dans le détail de leur décor et notamment dans la modénature des colonnettes. Les grandes fenêtres de l'élévation sur cour, plus élaborées, étaient inscrites dans une archivolte extérieure, soulignée par une moulure en boudin et reposant sur deux colonnettes supplémentaires. Surtout, on y relève dans les colonnettes centrales la présence de chapiteaux à boules et à crochets, ainsi que des bases à griffes gothiques d'une qualité et de modèles nettement plus élaborés que ceux des colonnettes latérales. Ces dernières, comme les autres baies de la salle ne disposent que de chapiteaux lisses et de bases au profil peu soigné. L'éventualité de remplois d'éléments provenant d'un autre édifice n'est donc pas à exclure. Pour leur part, les arêtes adoucies en quart de rond ou en cavet et les cordons d'impostes en double quart de rond renvoient à un vocabulaire formel habituellement attribué à la charnière du 12e et du 13e siècle. Toutefois, la parenté de ces baies avec celles de certaines maisons de Martel et de Rocamadour et avec celles du palais abbatial de Rocamadour édifié vers 1220-1223, conduisent à les situer plutôt dans la première moitié voire le second quart du 13e siècle. Quant au tracé des arrière-voussures en arc brisé surbaissé, il suggère une époque de réalisation plus basse encore dans le courant du 13e siècle. Une septième baie, simplement couverte en plein cintre et analogue à une porte, ouvrait sur le pignon sud. Cette baie qui ouvrait au niveau des appuis de fenêtres et qui disposait d'une hauteur sous clé d'à peine 1,10 m, doit cependant être assimilée à une fenêtre. De ce fait, aucun indice ne permet d'identifier l'ancien dispositif d'accès à la salle, accès qui ne pouvait s'opérer que par un escalier depuis la grande-salle inférieure. On est a priori conduit à supposer que cet escalier devait être en charpente mais l'arc de décharge observé à l'étage inférieur pourrait avoir supporté un escalier de pierre. Deux placards jumelés et une archère plongeante complétaient l'équipement de cette salle supérieure qui était dépourvue de latrines et de cheminée. Le conduit visible sur la face nord correspond en effet à la partie supérieure de la hotte de la cheminée qui se trouvait au niveau inférieur. Il en subsiste la mitre cylindrique, décorée de colonnettes trapues attribuables aux restaurations de la fin du 19e siècle. On constate enfin que les maçonneries des façades ne sont que très imparfaitement liées à celles des deux pignons qui semblent, comme pour le second niveau, appartenir à un édifice antérieur à l'établissement des fenêtres. En conclusion, il faut admettre que les dispositions médiévales de l'Auditoire sont loin d'être éclaircies. Il semble que le bâtiment ait été relancé, voire surélevé d'un étage dans la première moitié ou le milieu du 13e siècle sur les murs d'un bâtiment antérieur partiellement détruit. Certains indices font supposer que cette surélévation a pu intervenir peu de temps après la construction du bâtiment primitif. L'importance de la porte d'entrée, elle-même très endommagée et aujourd'hui à peine lisible, conduit à identifier l'édifice comme une grande salle et non comme un simple "ostal". Ses dimensions étaient d'ailleurs analogues à celles de la tour de l'Horloge de Turenne.

La tour maîtresse, tour féodale ou "turris", du château de Castelnau est établie sur plan carré et mesure 7,90 m de côté à la base. Sa hauteur avoisine les 26 m par rapport au sol de la cour. Il convient de noter qu'elle n'est pas établie sur deux étages de caves voûtées comme on l'écrit habituellement, mais sur un seul. De fait, dans son état actuel, la tour comprend trois niveaux voûtés. Ses élévations sont soulignées par un empattement taluté, à la base, puis par des bandeaux plats semblables à ceux que l'on observe sur les tours de Cardaillac dont la tour de Castelnau offre, à de nombreux égards, une réplique presque exacte. Les bandeaux correspondent ici au niveau des impostes des voûtes intérieures.

Le premier niveau est accessible de plain-pied par une porte repercée au 15e siècle ou plus tard encore. Elle est couverte d'une voûte en berceau, tardive, dépourvue de trappe de communication. Cette observation confirme que la voûte et la porte furent aménagées simultanément. De fait, l'aménagement de la voûte a recoupé une chambre aveugle primitivement plus haute. Le premier étage de la tour, initialement porté par un plancher, se présente comme une salle très haute sous voûte. Elle était accessible par une porte à deux fermetures opposées et encadrement en arc brisé, dont le couvrement en tas de charge reprenait le principe observé à Cardaillac. La mise en communication de cet étage avec les logis attenants a impliqué au 15e siècle la modification de son niveau initial qui fut alors abaissé en gagnant sur la chambre basse. La porte initiale, condamnée, fut alors remplacée alors par une nouvelle porte établie plus bas. Une petite fenêtre en plein cintre, inscrite dans une archivolte a ressaut éclairait la face Sud avant que les logis soient ajoutés. Elle s'élargit vers l'intérieur par une ample embrasure en arc faiblement brisé occupant la presque totalité du panneau. La salle intérieure est couverte par une voûte domicale à quatre quartiers, décorée de quatre branches d'ogives, portées par quatre colonnes d'angle. Les chapiteaux prismatiques sont reliés par leurs tailloirs formant cordon d'imposte : un tore assez mince, dégagé par une gorge et un chanfrein. Les nervures, dépourvues de clé, se composent d'un diagonal et de deux demi-diagonaux de section carrée, adoucies par des gorges latérales ornées de boutons hémisphériques. Le principe de cette voûte reprend presque exactement celui mis en oeuvre aux tours de Cardaillac. Une cage d'escalier en vis permettant d'atteindre le niveau supérieur, forme un caisson en excroissance sur l'espace intérieur. Couvert par une mitre, il interrompt l'une des nervures de la voûte. Une porte haute, ouvrant sur le vide mais ayant pu correspondre à un entresol ouvre à mi niveau

Le deuxième étage aussi haut que le premier, en diffère par le fait qu'il est couvert par une voûte en berceau, soulagée par un doubleau de section quadrangulaire et dont les cordons d'imposte en épais quart de rond se poursuivent sans grande logique architecturale sur les quatre faces en délimitant des tympans aveugles. Deux fentes de jours l'éclairent sur les faces est et ouest au-dessus des toitures des logis attenants. Deux portes percées en vis-à-vis dans les faces nord et sud ouvraient sur une galerie de charpente extérieure couverte qui se développait sur les quatre faces de la tour comme le montrent les trous d'encastrement des solives porteuses. Comme à Cardaillac, on observe une rupture dans la distribution, la cage d'escalier permettant d'accéder depuis le premier étage étant distincte de celle permettant d'atteindre la plate-forme sommitale, elle-même située en hauteur et inaccessible sans échelle.

La ceinture de mâchicoulis qui la couronne est un apport du 15e siècle qui a vraisemblablement remplacé le parapet crénelé d'origine dont ne subsiste qu'une gargouille d'évacuation visible sur la face nord donnant sur la cour. Une cloche, portée par un beffroi de pierre, était encore en place il y a peu. Elle explique sans doute la présence de deux trous percés dans la voûte du second étage et que l'on peut supposer affectés au passage des cordes.