J. Lartigaut (1979) constatait qu'il n'était pas sûr que l'évêque de Cahors ait été seigneur de Bélaye longtemps avant l'hommage rendu en 1228 au roi par Guillaume de Cardaillac. La famille éponyme occupe en effet une situation éminente dès le premier tiers du 11e siècle : vers 1030, Kalsan de Bélaye fait don de l'église de Pescadoires à l'abbaye Saint-Pierre de Moissac. En 1236, les Bélaye sont contraints de céder à l'évêque tout ce qu'ils avaient dans le « fort » du castrum, mais aussi le péage fluvial, le rivage, etc. Ils n'apparaissent d'ailleurs plus dans la documentation après cette date et l'évêque fait figure d'unique seigneur de Bélaye. Des lignages de chevaliers, dont les plus importants sont les Guiscard, les Séguier, les Grézels et les Floiras, résident dans le castrum aux 13e et 14e siècles. Bélaye est alors le siège d'un archiprêtré et celui d'une châtellenie.
Des consuls sont mentionnés dès 1270 et il est fait référence aux coutumes de Bélaye en 1283-1284 (F. Lacoste, 1908, p. 68-69 ; P. Flandin-Bléty, 1983, p. 261). La version conservée, sous forme de copies et restée inédite, reprend la quasi-totalité des articles des coutumes octroyées par l'évêque Barthélemy de Roux aux habitants de Luzech en 1270, et peut-être peu après à ceux de Bélaye ou bien seulement en 1327 (P. Flandin-Bléty, 1983, p. 261-262). Elles précisent que deux des consuls doivent être élus parmi les nobles du castrum (J. Lartigaut, 1979, p. 244).
Après la guerre de Cent ans, le castrum est déserté par ses nobles et connaît le déclin de tous les sites perchés (J. Lartigaut, 1979, p. 244). La place est prise par les protestants en 1579 puis reprise par les catholiques qui en font détruire les fortifications (G. Lacoste, 1886).£Aucun vestige antérieur à 1236 n'a été identifié au cours de l'enquête sur l'architecture civile médiévale réalisée en 2007. La datation des quatre principaux édifices conservés, ou de leurs vestiges, reste par ailleurs incertaine. La demeure dite « Ancien château » date peut-être de la fin du 13e siècle ou du début du 14e, mais les fenêtres de la Maison Raynaly paraîtraient bien archaïques si la première moitié du 14e siècle était confirmée.
Eléments repérés des 13e-14e siècles :
Maison (parc. 2019 AB 248), élévation sur la rue, pierre de taille en partie conservée sur deux niveaux ; maison (parc. 2019 AB 278), élévation sur la rue, maçonnerie en pierre de taille partiellement conservée, trois pierres chanfreinées d'un piédroit de porte au rez-de-chaussée, chaîne d'angle sud-est ; parc. 2019 AB 281, corps de logis, élévation sud, pans de maçonnerie en pierre de taille, et vestiges d'un piédroit à l'étage ; édifice non identifié (parc. 2019 AB 404), demi-arc dans une maçonnerie médiocre (selon un renseignement oral une voûte d'ogives dans le bâtiment effondré) ; parc. 2019 AB 289, traces d'une construction dont le premier niveau était partiellement excavé dans la roche.
