Un prieuré et un ""castrum"" sont mentionnés à Touget au 12e siècle. Le prieuré se trouvait à la confluence de la Marcaoue et de la Gimone (Pousthomis). Il semble que le château se trouvait sur la hauteur, près de l'actuel village (Cursente). L'agglomération paraît s'être développée, ou du moins avoir été réorganisée de manière plus ou moins orthogonale, dans la seconde moitié du 13e siècle. Peut-être par un glissement d'un premier habitat dans la vallée près du monastère, vers un point mieux défendable près du château (Pousthomis). Il s'agissait d'une possession vicomtale, ce qui explique que Touget n'apparaît pas dans les coutumes du Fezensaguet datées de 1295. Le village est toujours qualifié de place forte en 1626 (Carsalade).£Même si toutes les tours-portes ont disparu, il subsiste quelques beaux vestiges du mur d'enciente. Celui-ci pourrait dater de la seconde moitié du 13e siècle. Quelques maisons de la fin du Moyen Age ont été observées, tant en pierre qu'en pan-de-bois.