La seigneurie, avec toutes justices, appartenait aux vicomtes de Turenne avant de passer, au 12e siècle, aux Gasc et, au 13e siècle, aux Cornil puis aux Valon-Stéphani. Le château, fortifié par Guérin de Valon entre 1342 et 1390, est en ruines à la fin de la guerre de Cent ans et depuis longtemps abandonné par la famille de Valon qui s'est installée à Rocamadour : Aymar de Valon serait revenu à Thégra vers 1450 (G. Lacoste, Histoire générale de Quercy, t. III, p. 411). Le château est entièrement reconstruit dans la seconde moitié du 15e siècle, probablement par Antoine de Valon. Les appartements auraient été embellis vers 1542 par Gilles de Valon (C. Didon, 1996). En 1667, le château comprend "trois tours, un grand corps de logis, cuisine et au dessus deux sales, une escurie, un four, fournial, puy circuit, murailles et fossés" (archives de la Mairie de Thégra, citées par H. de Warren, 1980).
Au 17e siècle, la seigneurie passe, par alliance, aux Gozon, puis aux Gauléjac et aux Clermont-Toucheboeuf ; le château est vendu en 1699 à René de Lagarde, puis en 1731 à un marchand de Saint-Céré, François Niocel, qui réalise d'importants travaux de réaménagement pour rendre le logis à nouveau habitable (C. Didon, 1996).
On a remployé dans la façade de la mairie un buste d'homme en médaillon, surmonté d'un blason, qui est parfois dit provenir d'un bâtiment démoli du château (H. de Warren, 1980) : les armoiries sont cependant celles des Theiss et le relief a plus probablement appartenu à un bâtiment édifié par Charles de Theiss, archiprêtre de Thégra en 1549 (Clary, 1986).