L'ancien castrum de Cazals, établi au-dessus de la "bastide" et dominant la vallée de la Masse, s'est perpétué dans le quartier dit du "Haut-Cazals". Ce quartier selon le schéma habituel, se décomposait lui-même en deux entités distinctes, le fort et la ville, qui correspondent à peu près à l'actuel château et au quartier de la Ville qu'isolait un fossé occupé aujourd'hui par la place de la Tranchée, au nom évocateur.£Le fort et le château. L'actuel château de Cazals occupe un terre-plein terrassé quadrangulaire, de 80 m de côté environ, implanté sur une assise rocheuse sous-jacente. L'édifice actuel se compose d'un logis en équerre dont les ailes se soudent sur un pavillon carré. Tout autour, une enceinte hétérogène, vaguement bastionnée, enferme dans ses murs de soutènement une fausse braie et plusieurs niveaux de terrasses. Une partie importante de ces murs a été remontée comme le château au 19e siècle, mais certains tronçons sont attribuables au 16e ou au 17e siècle comme le confirment le style du portail à bossages plats de la terrasse inférieure, la présence de redents et le talutage de certaines parties.£L'ensemble constitué par le château de Cazals et ses terrasses conserve d'importants vestiges du castrum médiéval qui l'a précédé. Au sein du tracé de l'enceinte apparaissent en effet, autour de l'ancienne chapelle castrale, les vestiges de constructions antérieures qui ont été englobées dans le terrassement de l'ensemble. Ces constructions sont repérables par la qualité et l'épaisseur de leurs maçonneries. Les vestiges d'une construction rectangulaire, considérée comme l'ancienne "maison de Guerre", du nom de ses possesseurs, sont identifiables à la base de l'actuel pavillon du château. Une seconde construction quadrangulaire dite tour de La Roque ou de Ruppe est implantée dans l'angle ouest de l'enceinte. Un troisième bâtiment quadrangulaire qui fut peut-être la tour de La Marca était implantée à l'opposé, à l'angle est de l'enceinte. D'autres "ostals" étaient implantés dans le fort. Plusieurs d'entre eux ainsi que des "ayrals" furent inféodés après la guerre de Cent-ans par les Vielcastel, les Fumel les Salviac et les Gontaud, héritiers des premiers coseigneurs.£Une tour appartenant aux Gourdon était également implantée dans le fort, à proximité de la chapelle Saint-Martin et du puits. Cette tour qui n'est plus localisable avec certitude aujourd'hui, pourrait avoir tenu le rôle de la véritable tour seigneuriale, contrairement aux autres constructions médiévales repérables dont la configuration évoque davantage de simples maisons-tours, voire de simples "ostals".£La ville et le bourg castral. En contrebas de l'enceinte du château le quartier de la "ville" était enfermé dans une clôture dont le plan cadastral actuel conserve la trace. A proximité et en contrebas de l'ancienne tour des Gourdon, les Gontaud-Saint-Geniès avaient établi à la fin du 15e siècle un hôtel noble qui constituait le nouveau centre de leur fief comprenant bourg et barri. Attenants à cette maison noble dite de Saint-Geniès apparaissent encore quelques vestiges d'une construction attribuable à la période médiévale. Trois autres maisons fortes au moins, implantées sur les limites de l'enceinte de la ville, ont laissé des vestiges tangibles. L'une des trois était connue naguère sous l'appellation de Castel-Rougié. Les deux autres sont incluses dans l'ancienne Caminade, autrement dit le presbytère.£Les enceintes et les portes. Sur la dizaine d'édifices médiévaux repérés dans le castrum de Cazals, il est surprenant de constater que trois d'entre eux sont étroitement associées à des portails dont ils paraissaient assurer la défense, selon un schéma type répétitif. C'est le cas de la maison dite de Guerre et des deux maisons identifiables dans le volume actuel de la Caminade. Cinq des autres édifices médiévaux repérés sont établis par ailleurs sur les limites du fort ou celles de la ville et suggèrent par leur implantation qu'ils auraient pu reproduire un dispositif analogue. Rien ne permet toutefois de se prononcer sur le statut collectif ou privatif de ces portails, du moins à l'origine. Dans l'une des deux hypothèses, ils auraient été percés dans l'enceinte collective et auraient ouvert sur des rues comme c'était le cas dans la ville basse de Puy-L'Evêque et comme le suggèrent les couloirs sur lesquels ils ouvrent aujourd'hui. Dans la seconde hypothèse, ils auraient pu ouvrir au contraire sur des enclos particuliers associés à chacune des maisons et constituant comme c'était le cas à Comarque une enceinte discontinue.£Une autre porte, précédée d'une barbacane, donnait accès à l'enceinte au sud. Une troisième, la porte "ganelle", ouvrait au nord entre le fort et le bourg Saint-Geniès, au contact, semble-t-il, de l'ancienne tour de La Marca.