Le château-fort connu aujourd'hui sous l'appellation des "Tours de Saint-Laurent", du nom de la commune dans laquelle il se trouve, correspond en fait à l'ancien château de Saint-Céré dont le nom s'est bizarrement transféré au 17e siècle à l'ancien bourg ecclésial de Sainte-Spérie, l'actuelle ville de Saint-Céré, établie sur les berges de la Bave, en contrebas du site castral.
L'"oppidulum Sancti Sereni" apparaît dans la documentation dès l'an 901. A cette date, le comte Géraud d'Aurillac était contraint d'y conduire une expédition destinée à réduire un certain Arlaldus qui tenait de lui cette forteresse. Un siècle et demi plus tard, les membres d'un lignage éponyme dit de Saint-Séré, dont on ne précise pas encore s'ils sont des chevaliers du castrum, foisonneront dans les cartulaires de Beaulieu et de Carennac. On y retrouve les prénoms d'Eirad et d'Amiel, indice que certains d'entre eux devaient descendre du seigneur rebelle du début du 10e siècle et que d'autres étaient sans doute apparentés aux premiers possesseurs du château des Peyrières, futur Castelnau-Bretenoux. Géraud de Saint-Séré, sixième abbé d'Aurillac (962-987), est le plus anciennement mentionné. Avant 1178, près d'une dizaine de parciers (coseigneurs) se partageaient le castrum, désormais sous la suzeraineté du vicomte de Turenne Raimond II, à qui le comte d'Auvergne venait de céder le dominium. Le plus important d'entre eux, Aymeric de Saint-Céré devait alors sept mois d'estage à la "Tour-Blanche" du castrum dont ses propres vassaux devaient assurer le service de garde. Il n'avait pas cependant la possession de la tour dont il partageait la garde et l'entretien avec les autres nobles du castrum. Leurs maisons, abritées à l'intérieur de la "mureta" (enceinte extérieure), étaient regroupée dans le quartier du "Puy du Château", de part et d'autre de la rue aboutissant à l'unique porte du fort. Ces divers parciers, pour la plupart membres du lignage éponyme des Saint-Céré, sont considérés comme la souche des Araqui, des Astorg et des Saint-Vincent, qui détenaient encore des parts du castrum et de la "viguerie" à la fin du 13e siècle.
A partir de 1212, les vicomtes de Turenne entrent dans la mouvance directe du roi de France puis font hommage à Simon de Montfort (1214). Raimond IV épouse Hélix d'Auvergne à Saint-Denis en 1225 et figure encore en 1235 parmi les proches du roi. A partir de 1236, cependant, on le voit entrer dans la clientèle du comte de Toulouse qui lui cède la suzeraineté sur le château de Castelnau. Suite à la défaite de la coalition anglo-toulousaine à Taillebourg, les possessions du vicomte, et notamment Turenne et Saint-Céré, sont mises sous séquestre par le roi jusqu'en 1254 au moins. En 1263, Raimond VI, sous contrôle du roi de France, entre dans la vassalité d'Henri II d'Angleterre, duc d'Aquitaine, et lui fait hommage pour ses châteaux de Turenne et de Saint-Céré Le texte de l'hommage insiste alors sur le caractère rendable des tours de Turenne et de Saint-Céré, qui avaient déjà été l'objet de l'attention du pouvoir royal lors de la saisie des années 1242-1253. L'obligation de rendre ces tours est encore réclamée en 1288 par Edouard Ier, qui rappelle que cette obligation avait précédemment été due au roi Henri II (1154-1189), et une nouvelle fois en 1290, date à laquelle Edouard Ier réclame une fois encore au vicomte les clés de Turenne et de Saint-Céré.
A partir de la fin du 13e siècle, sous la suzeraineté directe des vicomtes de Turenne, Saint-Céré sera le chef lieu d'une châtellenie importante, s'étendant sur les lieux de Saint-Céré, Saint-Vincent, Frayssinhes, Autoire et Teyssieu.
La tour à contreforts de Saint-Laurent est généralement attribuée à l'année 1178, époque de l'acquisition du castrum par Raimond II de Turenne. L'ocre soutenu de ses parements de calcaire dissuade toutefois de l'identifier avec la "Tour-Blanche" mentionnée dans la reconnaissance d'Aymeric de Saint-Céré vers la même date. André Châtelain rappelle d'ailleurs qu'Arcisse de Caumont et Camille Enlart ne l'attribuaient qu'au 13e siècle. L'analyse du répertoire formel de l'édifice confirme cette impression. La similitude des formes qui caractérisent ses deux phases de construction (similitude des portes en arc brisé, du parti de l'escalier, des fenêtres cintrées, des voûtes portées par un cordon d'imposte en quart de rond), invitent en effet à ne pas les créditer d'un écart chronologique trop marqué. En dépit de la spectaculaire discontinuité de parti manifestée par l'abandon des contreforts, il semble en fait que la seconde campagne ait suivi de peu l'achèvement de la première. Par ailleurs, à l'exception des contreforts, les analogies formelles qui rapprochent la "petite tour" de Saint-Laurent des tours de Castelnau-Bretenoux (après 1223), de Béduer (après 1215), de Cardaillac (vers 1227), voire de Castelnaud-Lachapelle (Dordogne), sont trop précises pour ne pas suggérer une proximité chronologique. Le parti de la porte d'entrée, intercalant un conduit couvert par une mitre à ressauts de quarts de ronds entre deux tableaux opposés en arc brisés, est l'exacte réplique de la porte de Castelnau-Bretenoux mais aussi de celle de la Tour de l'Horloge de Cardaillac. Le parti des escaliers dissociés, ouvrant par des portes hautes sur les salles, celui des cordons d'imposte en quart de rond filant sur les quatre faces, voire interrompus par des corbeaux, font également référence aux tours de Cardaillac et de Castelnau-Bretenoux, de même que l'adoucissement de l'arête des baies en un quart de rond à peine marqué. Le parti du caisson de latrines engagé dans l'un des contreforts renvoie en revanche à Puy-L'Evêque (après 1223), de même que celui des contreforts emboîtant les angles. L'ensemble de ces indices converge sur une datation plus tardive que celle habituellement retenue pour cet édifice qui, semble-t-il, porte davantage la marque de la première moitié, voire du deuxième tiers du 13e siècle que celle du siècle précédent. Il faudrait admettre dans ce cas, comme le pense F. Pressouyre, que la "Tour-Blanche" mentionnée en 1178 parmi les possessions des vicomtes dont la garde était confiée Aymeric de Saint-Céré, désignait un autre édifice, aujourd'hui disparu.
Les armoiries écartelées de Beaufort et Turenne permettent d'attribuer à Guillaume Roger III, comte de Beaufort, la construction de la tour nord-est ou "grosse tour", qu'il faut donc situer dans le troisième quart du 14e siècle.
Saccagé en 1586, pendant les guerres de Religion, le château est abandonné. En 1826, il est offert par son propriétaire au Département, qui refuse la donation. Le château est acquis en 1894 par Lafon de Verdier qui fait rebâtir le logis dans un style néo-médiéval. Le peintre et tapissier Jean Lurçat l'achète en 1943 : il y installe son atelier en décorant les murs, les plafonds et les menuiseries des portes et des fenêtres. De nombreuses oeuvres de l'artiste : tapisseries, peintures et céramiques réalisées entre 1943 et sa mort en 1966, y sont conservées et présentées au public.
