La seigneurie de Bournac relève du château de Caylus et elle est tenue par les Caylus et les Combret au 12e siècle (Al canton, 2010). Le castrum de Bournac compte 84 feux en 1341 (Molinier, 1883) ; les Anglais s'en emparent en 1361, et le délaissent pour 1000 florins (Al canton, 2010). Le château fait l'objet de travaux en 1473 (J. Miquel, 1981), puis de nouveau en 1503 (Al canton, 2010).£La chapelle élevée en 1832 contient deux chapiteaux réputés provenir de l'ancienne chapelle castrale et qui, s'ils sont authentiques, peuvent dater de la seconde moitié du 12e siècle. L'édifice aujourd'hui désigné comme château pourrait être un second château, et celui qui est remanié en 1473 : la croisée de l'élévation sud interrompt un cordon d'appui qui appartient à un état de la fin du 13e siècle ou du début du 14e. Un placard (?) également datable du 13e ou du 14e siècle est visible dans un bâtiment voisin. Le bourg conserve cependant d'assez nombreux bâtiments et vestiges datables du 15e siècle, ou du début du 16e, qui témoignent d'une importante reconstruction intervenue après la guerre de Cent ans.