Sur le compoix de 1595, restitué par le notaire Catala en 1736, il est mentionné que Georges Garrigues possède une "maison", un "feynal, tour, tenant à Carriero de Castres". La maison accompagnée d'une tour a probablement été construite au 16e siècle, avant 1595, période de construction confirmée par l'anayse stylistique de la porte. En effet, la structure de la tour, avec l'escalier en vis, peut être datée du 16 siècle (?), au vu de la petite baie chanfreinée et de la porte de l'étage qui présente une porte au linteau rectangulaire orné d'un écu et adouci dans les angles. L'appui de la petite fenêtre chanfreinée est constitué d'un tailloir sculpté d'une frise de rinceaux à deux brins et de fleurons à quatre lobes en remploi provenant probablement de l'abbaye romane. La porte principale est couronnée par un arc segmentaire, la fine moulure torique qui souligne l'encadrement, la frise de grecques et les motifs de volute rayonnant autour d'une fleur, le chapiteau, plat, de tradition ionique, orné de volutes et de frise d'oves, sont issus stylistiquement de la première Renaissance. Le notaire a précisé qu'il "vend à la communauté de Sorèze la moitié de la maison acquise de Paul Catala en 1723". La caserne royale, fondée au tout début du 18e siècle, - la première entrée étant mentionnée en 1718-, s'est installée intra-muros dans la profondeur de l'îlot situé entre la rue du Maquis et la rue Rastoul. Les sources d'Ancien Régime de la commune rendent compte de travaux à y effectuer dès 1728, 1733, 1776-1777, ceci permettant de suivre son activité jusqu'à la Révolution Française. Les bâtiments étaient disposés autour d'une cour et une tour d'escalier en vis menait aux bâtiments contigus. Après la Révolution, les bâtiments furent rachetés par la commune et leur appartenaient toujours en 1833. La parcelle fut démembrée lors du projet puis de la construction du temple après 1836, ce dernier ouvrant sur la rue de Castres, actuelle rue du Maquis. Les batiments accueillirent l'école des filles en 1878, date de réception des travaux qui consistèrent à la reprise d'un bâtiment transversal, avec le percement d'ouvertures en briques (porte et fenêtres). C'est à ce moment-là qu'une porte de communication est percée dans le mur nord-ouest de la tour. Entre 1900-1902, le bâtiment donnant sur la rue Rastoul et qui était une grange en 1833, devient l'atelier d'ébénisterie Metge, sis auparavant rue du Maquis. Si le rez-de-chaussée fut en partie conservé, l'étage fut réaménagé et les façades réorganisées pour la fonctionnalité de l'atelier. De plus, Auguste Metge entreprit le programme de peintures sur la façade du 13 rue Rastoul. L'école de filles puis école mixte est restée dans les murs jusqu'en 1960, date à laquelle l'atelier Metge devenu par la suite Pron a pu s'étendre et annexer les locaux.