Elevé rue de la Chambre de l'Edit, contre l'hôtel particulier voisin de François de Rozel, l'hôtel particulier de Jean Le Roy est tout à fait représentatif de l'effervescence architecturale que connut la ville de Castres à la suite de l'installation de la Chambre de l'Edit dans la ville en 1595. Etabli entre cour et jardin en arrière de l'enceinte de la ville, il ouvre sur la chambre de l'Edit par le portail de la cour qui reste modeste alors que l'entrée la plus soignée se trouve rue Victor Hugo. Le portail sculpté est couronné d'un entablement à tableaux et à fronton interrompu devant un édicule à oculus couronné d'un fronton semi-circulaire. Le caractère ornemental est très développé avec les feuilles d'acanthe à la clef ou sous les récoltes de végétaux et les chutes de fruits. Les extrémités des rampants du fronton sont ornés de boutons floraux, ils se trouvent de part et d'autre d'un édicule central au chambranle à crossettes couronné d'un fronton semi-circulaire et d'un ornement à boule. Le décor de tableau et la devise « coelum non solum » (le ciel pas seulement), qui est également la signature du poète français Jean-Pierre de Mesmes, est peut-être aussi une allusion aux réflexions de l’Académie qui siégea après 1648 dans la même rue.£L’hôtel est établi sur un plan en U autour de la cour. Le portail principal sur la cour bénéficie selon le modèle habituel d’un perron et même si il est plus modeste que celui sur la rue Victor-Hugo, il est classique : à pilastres supportant un entablement à métopes et triglyphes couronné d’un fronton à médaillon central. Le portail secondaire et latéral est encore plus simple. Faisant totalement partie du programme des façades, les croisées présentent deux variantes sur le modèle de l’hôtel de François de Rozel. Celles de l’étage noble sont d’ordre toscan et à consoles feuillagées à motif de coquille, celles du second étage d’ordre ionique étaient ornées de mascarons à tête de lion.£L'hôtel présente aussi l'intérêt d'être surmonté à l'angle des deux rues d'une tourelle en brique en surplomb. Sur la rue et visible de loin, elle présente un décor ornemental soigné : l'encorbellement en pierre de taille de grès est orné d'une frise d'oves et les consoles sont sculptées de feuilles d'acanthes avec bouton en forme de coquille retournée et de motifs latéraux.