En 1259, Guillaume de Belfort hommage au comte de Poitiers pour ses terres et sa "villa" de Belmont. Des seigneurs de Belmont sont mentionnés en 1346 et 1369, mais ce sont sans doute encore des Belfort. Au 15e siècle, la seigneurie est partagée entre les Desprez de Montpezat et les Carit de Puylaroque ; leur succèdent d'une part les Vignes, seigneurs de Puylaroque, en 1595, et d'autre part les Laburgade, seigneurs de Lalbenque, au 17e siècle, qui se maintiennent dans les lieux jusqu'à la Révolution, où le château est incendié (C. Didon, 1996).£Reconstruit sur des bases du Moyen Age, l'édifice date pour une large part du 17e siècle. D'importants travaux de restauration et de reconstruction ont été réalisés au 19e siècle.