Le site pourrait être celui d'une motte du Moyen Age. Peut-être le site dit Les Justices. La carte de Cassini, de la seconde moitié du 18e siècle, semble bien figurer un château à Grèzes, situé un peu en hauteur, sur un emplacement qui pourrait donc être celui de cette motte. En outre, le plan cadastral actuel mentionne sur le lieu une "fontaine du castel".£La première mention du château serait de 1176, lorsque Raymond de Massaut en donne une partie ; la démolition de la forteresse aurait été ordonnée en 1372 (Clary, 1986).