L'école de filles de Caylus s'appuie sur plusieurs constructions existantes dont certaines parties ont été démolies ou largement modifiées lors de l'important chantier de construction qui s'est étalé de 1874 à 1877. La parcelle sur laquelle est bâtie la nouvelle école est mentionnée sur le plan de 1780 comme étant la « maison de la communauté des filles de l'école » (ADTG 3 E 262). Il s'agissait vraisemblablement, à la fin du 18e siècle, d'un établissement scolaire tenu par des religieuses. Au 19e siècle, l'édifice semble servir de caserne de gendarmerie. En 1837, l'état des sections mentionne en effet, 19 ouvertures imposables pour la caserne en parcelle D 314 (Etat des sections, 3 P 518).

L'ancienne école de filles abrite aujourd'hui en rez-de-chaussée, la médiathèque communale (à l'emplacement de deux classes pour les élèves) ainsi qu'une antenne de la radio CFM en soubassement (là où se trouvait le réfectoire), ainsi que des logements à l'étage. L'ancienne école de filles de Caylus remplace donc un édifice qui a servi de couvent (école de filles) puis de caserne.

La nouvelle construction débute en 1874 d'après les plans de l'architecte Léopold Gardelle. Les travaux sont mis en adjudication le 13 février 1874 par l'entrepreneur de travaux publics, Etienne Kaly. Le déroulement de ce vaste chantier public est consigné dans un carnet d'attachements qu'Etienne Kaly rédige du 2 mars 1874 au 24 décembre 1875 avec la désignation précise et datée des travaux réalisés, accompagnés de croquis (ADTG O 130). L'exécution des travaux est surveillée par l'agent voyer de Caylus : Molinier. Dans ce carnet, il est mention de détails concernant la charpente en chêne, les tuiles à crochets, les tuyaux de descente en zinc, les briques de la corniche (côté cour), les carreaux des croisées, les cloisons en poteaux et tuf, les loqueteaux, targettes et gongs des portes, etc. Le décompte définitif des travaux est signé le 13 décembre 1877 par Jean Combébiac (architecte du département) et Barthélémy Rey (agent voyer en retraite). La façade sur rue présente à l'étage, entre les fenêtres, des moellons apparents avec des joints réalisés au ciment (restauration des années 1980) mais à l'origine, ces espaces étaient destinés à être enduits.

La maison de monsieur Merly (en 1875) qui borde la rue du Long est transformée pour devenir le préau couvert de l'école donnant sur la cour. Cet espace a accueilli entre 2017 et 2024, le Fablab Origami. La cave de la maison rue du long est remblayée et une porte est obturée en 1875. Au-dessus, la charpente et six poteaux en chêne du préau sont également mis en place à cette époque, tout comme la maçonnerie en brique de l'étage, sur la façade rue du Long. La réhabilitation du préau en Fablab en 2017 a conservé l'essentiel des poteaux et de la charpente d'origine. La façade rue du Long présente des ouvertures de la fin du 15e siècle (porte en accolade, arcs, fenêtres) mais elle a été très remaniée et probablement en partie remontée à la fin du 19e siècle.

La maison mitoyenne à l'ouest du préau (en D 316 sur le plan cadastral de 1836), actuel Centre de Ressources Economiques, est nommée « miséricorde conservé » sur les plans de l'architecte Léopold Gardelle. Ce bâtiment (destiné à l'époque à abriter ou venir en aide aux pauvres), n'est pas concerné par les travaux de la nouvelle école de filles des années 1874-1877.