La citadelle de Puylaroque est un grand édifice ayant connu plusieurs périodes de réaménagements. Un important module rectangulaire avec une tour d'escalier à l'est constitue la principale phase de construction à la fin du 16e ou au début du 17e siècle. A la base de la tour d'escalier, au niveau du second sous-sol, une construction couverte d'une voûte en berceau, pourrait appartenir à une phase plus ancienne, sur laquelle le noyau de l'escalier en vis moderne a été posé (voûte en partie détruite). Elle semble communiquer avec une salle au nord (non visitée, citerne ?).
A l'est du bâtiment rectangulaire, sur la seule façade formant pignon, plusieurs arrachements et une porte bouchée témoignent d'une aile de bâtiment disparue, qui lui était probablement liée. La modénature des baies paraît caractéristique des 16e-17e siècles dans la tour d'escalier, les portes de communications qui associent des portes à anses de paniers dans les niveaux hauts, avec des portes droites à tables dans les salles des sous-sols, et les grandes fenêtres à pilastres peu saillant dans la façade sud-ouest. Des irrégularités de parement dans la façade nord-ouest indiquent probablement une construction disparue (une tour, une autre aile ?).
La construction de cette demeure, appelée « château » ou « citadelle » des seigneurs de Puylaroque, est probablement associée à l'achat de la seigneurie par la famille Devignes à la fin du 16e siècle. Le contrat de vente date de 1595, il est passé entre « messire Emmanuel de Savoye sénéchal de Quercy ; messire Henry de Montpezat, son frère, à cette fin de vendre en leur nom la terre et seigneurie de Puylaroque » au profit de « sire de Labastide, Arnaud de Vignes, seigneur de Parizot, Cornusson, etc » (Razoua p. 220). L'emplacement se distingue du site de l'ancien château disparu (place du château IA82118954), plus au sud-est du bourg), et fait face à l'église Saint-Jacques, au bout de l'actuelle rue de la République (ancienne rue Droite) qui mène à l'entrée de ville.
Ce vaste édifice qui devait présenter un plan avec un angle plus aigu au sud à l'origine, est cité dans un compoix dès 1648 (f°1112). Le compoix de 1787 confirme également cette appellation et sa situation : « Messire François René Devignes Seigneur et Marquis de Puilaroque et autres places, tient noblement un château jardin et place apellée de la Citadelle » (f°1).
La citadelle est une propriété communale au début du 19e siècle, elle est achetée 2000 Frcs au "sieur Vignes" en 1806. Elle sert de mairie pendant plus d'une trentaine d'années, entre la destruction de l'ancienne maison de ville qui se trouvait sur l'entrée nord du village (vers 1822 ?, voir notice n°IA82119208) et l'aménagement de l'actuelle mairie dans la nouvelle halle (vers 1860, voir notice n°IA82119209).
En 1835, l'édifice n'a pas d'aile en retour au nord, mais cette dernière est vraisemblablement construite pendant ce siècle, car un plan de la deuxième moitié du 19e siècle nous l'illustre. A ce moment, la citadelle accueille une école de garçons gérée par les Frères de la Doctrine chrétienne. Le devis des travaux de réaménagement de la citadelle-mairie en école en 1859, précise que le plancher du premier étage doit être entièrement reconstruit. En revanche, la structure du plafond du premier étage ne semble pas devoir être refaite. Au rez-de-chaussée, les salles de classes sont installées et le cloisonnement refait à cet effet. A l'étage, des chambres, une cuisine et un réfectoire sont créés pour les trois frères logés sur place. Le corridor et deux salles de l'étage sont encore disposés tel que le plan les illustre. On remarque, en outre, que la quatrième travée de fenêtre ouvrant la façade sud-ouest est déjà créée. De même, la porte menant depuis la cour au sud vers le premier niveau de soubassement est percée à ce moment. En 1872 l'école de garçons dite congrégationniste installée dans la citadelle devient communale, elle accueille alors 121 élèves.
L'édifice a servi d'école communale jusqu'à la fin des années 1960, lorsqu'un nouveau groupe scolaire est construit en contrebas de la ville. La division des salles de classes a disparu aujourd'hui, comme celle des trois chambres de l'étage, qui ont servi d'appartement au directeur, puis de cuisine et de cantine au 20e siècle. L'édifice accueille aujourd'hui des salles dédiées aux activités associatives.
