L’hypothèse qui voudrait que la « motta » de Belfort « lo vielh sive Cardonnat » ait été le premier site de Belfort, antérieur au 11e siècle, n’a pour l’heure été ni confirmée ni infirmée (F. Hautefeuille, 1990, J. Lartigaut, 1993).£Un Ratier de Belfort apparaît dans la documentation en 1060, le même ou un autre en 1095 et 1104, et un Pons de Belfort en 1103. Cette famille est très probablement celle des seigneurs de Belfort, dont le château aurait été pris en 1211 par Simon de Montfort. En 1224, les biens qui ont appartenu à Pons de Belfort font partie de ceux qui sont assignés par le comte de Toulouse à Etienne de Montpezat, auquel succèdent, sans que l'on sache comment, les Penne, peut-être dès 1251. En 1258, lors de l'octroi des coutumes aux habitants dont c’est là la première mention, Bernard de Penne, seigneur de Laguépie, et Ratier de Penne, seigneur de Cestayrols, sont les coseigneurs de Belfort (L. d'Alauzier, 1961 ; F. Hautefeuille, 1990). En 1351 sont mentionnés les coseigneurs Ratier de Penne et Jean de Birol et les damoiseaux Guillaume de Lauriac et Bertrand d’Aevla ; le castrum qui relève de la châtellenie de Caylus compte alors 80 feux (E. Albe, 1905).£Un Raymond de Caussade est coseigneur de Belfort en 1408 ; dans les années 1446-1452, l’autre coseigneur Raymond de Cardaillac-Thémines réside dans sa demeure de Belfort (E. Cadiergues, 1937). En 1504, un autre Raymond de Caussade et Guillaume de Thémines dénombrent chacun pour la moitié de la seigneurie (L. d'Alauzier, 1984).£Le château, qui appartient alors aux Delfau, seigneur de Bouillac et de La Roque Bouillac, est pillé en 1790 : "tous les meubles ont été emportés, le grenier vidé ; on a arraché les gonds des portes et les fenêtres ; on a abattu partie des murs de clôture du château" (Réflexions..., 1790). Vers 1850, la tradition locale se souvient de "trois châteaux dont il ne reste que les fondements", le principal ayant appartenu à "M. Bouillac, seigneur de Belfort" (Le Lot vers 1850..., 2001).£Outre le château, le castrum abritait des maisons et sans doute des tours de "milites castri" (F. Hautefeuille, 1990). Vers 1850, la mairie occupe "un reste de tour carrée, encore assez élevée, que les habitants ont vu abaisser trois fois" (Le Lot vers 1850..., 2001). Et c'est probablement l'une de ses tours qui apparaît sur le plan cadastral "napoléonien", sur la parcelle F4 1070, et dont les vestiges, qui peuvent dater du 13e siècle, sont aujourd'hui conservés à l'extrémité ouest du bâtiment de la parcelle 2014 BH 246.£L’enquête sur l’architecture civile médiévale réalisée en 2007 a permis de recenser quatre autres vestiges d’édifices datables du 13e ou du 14e siècle : un dans le castrum, et trois autres dans le faubourg nord, confirmant son ancienneté.£Eléments repérés des 13e-14e siècles :£Faubourg nord : rue du Château, maison (parc. 2014 BH 122), élévation sur la rue, rez-de-chaussée en pierre de taille avec deux jours étroits couverts par des linteaux échancrés en plein-cintre ; rue du Château, maison (parc. 2014 BH 105), élévation sur la rue, partie nord, têtes de murs appareillées d’un pan de bois disparu à l’étage (datation incertaine) ; rue du Château, maison (parc. 2014 BH 105), élévation sur la rue, partie sud, rez-de-chaussée, pilier, piédroits et sablières chanfreinés.£Eléments repérés des 15e-16e siècles :£Castrum : maison (parc. 2014 BH 81, élévation sud-est, porte chanfreinée à linteau orné d’une accolade (en remploi ?), élévation latérale sud, petite fenêtre rectangulaire chanfreinée à linteau orné d’une accolade à l’étage.