En 1358, Olivier de Belcastel rend hommage à l'évêque de Tulle pour Belcastel et Vayrac (G. Lacoste, 1885) ; on sait par ailleurs que Vayrac fait partie des places prises par les Anglais vers 1370. Il semble cependant que l'on ne dispose pas de renseignements sur le château lui-même.£L'hôtel de ville s'est installé dans ce qui était sans doute l'un des bâtiments du château médiéval. De celui-ci subsiste une partie de l'élévation ouest, antérieure aux fenêtres du 15e siècle qui y ont été percées. La façade néo-classique qui s'élève sur la place du 11 novembre 1918 peut dater du milieu du 19e siècle.