Le lieu de la Pannonie apparaît dans les textes en 1286 avec la mention d'une "grange" de l'abbaye cistercienne d'Obazine ; on a encore mention en 1304 et 1315, de rentes sur une terre du domaine et sur la grange (J. Calmon, 1957). Après la guerre de Cent ans, la Pannonie est arrentée à une famille de marchands de Rocamadour, les Carreta ou de Lagrange : en 1458, c'est Pierre de Lagrange qui fait une reconnaissance de cens à l'abbaye d'Obazine pour toute la paroisse de Saint-Cyr-d'Alzou, la grange de la Pannonie et des terres de la Salvatte (J. Lartigaut, 2001). La première mention connue du "repaire" est de 1535 ; noble Michel de Lagrange, dit Carretta, est alors qualifié de seigneur de la Pannonie, et devenu seul maître du repaire en 1546, il sollicite l'autorisation de l'abbé d'Obazine pour l'agrandir et le mettre en défense, et obtient de pouvoir "faire édifier au repaire de la Pannonie, des tours-canonnières, créneaux et autres forteresses pour sa défense et seureté, même de faire bâtir des pigeonniers sans préjudice aux droits de l'abbaye" (J. Calmon, 1957).£L'aile orientale pourrait appartenir au repaire qui aurait été édifié peu après l'acquisition de la Pannonie par les Lagrange, dans la seconde moitié du 15e siècle. Les croisées moulurées des élévations est et ouest, dont les allèges sont munies de trous de tir, résultent en revanche des travaux réalisés vers 1546.£Les habitants de la Pannonie se plaignant de l'éloignement de l'église paroissiale Saint-Cyr d'Alzou, Jean Magdelon de Lagrange fait bâtir, dans le deuxième quart du 17e siècle, une nouvelle église à côté du château. Il meurt criblé de dettes en 1655 et ses biens sont saisis en 1656. En 1685, la Pannonie est achetée par Pierre-Antoine Vidal de Lapize de Lunegarde, qui en prend possession en 1687. Les Vidal de Lapize en sont restés propriétaires jusqu'à la fin du 19e siècle, le château passant alors aux Saint-Vincent par le mariage en 1886 de Marie-Thérèze de Vidal de Lapize et de Félix de Saint-Vincent (J. Calmon, 1957). Vers 1725, Antoine et Pierre de Vidal de la Pize font construire l'aile ouest. Mais c'est la construction de la façade sud, en 1765, qui transforme véritablement l'édifice en château de plaisance : Antoine Vidal de Lapize, seigneur de la Pannonie et de Saint-Projet, et son épouse Anne d'Arnis ont sans doute été conseillés par Jacques Rigal de Caulet, conseiller secrétaire du roi, qui aurait fourni quantité de plans et même des meubles (J. Calmon, 1957) ; Antoine Vidal de Lapize y fait installer en 1780 un ensemble de peintures sur bois et sur toile provenant du château de Saint-Sulpice.
Au milieu du 19e siècle, l'église est agrandie (la sacristie porte la date de 1864) pour Marie Louis Charles Vidal de Lapize qui fait en outre restaurer le château et aménager un grand parc à l'anglaise devant la façade sud.
