Remanié en profondeur, le premier hôtel Calvet ne laisse plus voir grand chose de ses dispositions originelles. Il formait un corps double en profondeur, massé sur rue. Une courette assurait l'éclairage de l'escalier. Le deuxième hôtel est constitué de quatre corps en quadrilatère sur cour centrale. L'escalier placé entre cour et jardin, à l'impériale constituant le grand morceau d'apparat, ne distribuait que l'étage noble. Les appartements occupaient les corps latéraux. L'ensemble, à cinq travées de façade est axé. La porte cochère marque l'un des sommets de l'axe que poursuivait, de l'autre côté de la cour, la composition symétrique du grand escalier. L'axe se poursuivait ensuite dans le jardin, moyennant un décalage d'une travée. Très dépouillé, le dessin de la façade n'use que d'un tout petit nombre de motifs mais dont le surdimensionnement et le relief plastique assurent à la composition une éloquence qui la détache puissamment dans l'environnement bâti. Un couple de chaînes à gros bossages l'accoste, qui viennent recevoir la proéminente corniche couronnant le tout. Celle-ci se retournait aux extrémités de la façade (avant la ruine partielle de l'extrémité sud), l'ensemble du corps s'élevant plus haut que les maisons mitoyennes. L'hôtel se donne ainsi à voir comme un volume, en contraste absolu avec l'alignement à touche-touche des rebords de toits du reste de la perspective. La porte est également surdimensionnée : son fronton pénètre par en haut dans l'allège de la fenêtre axiale du premier étage et possède un surplomb de près de 1,30 mètre formant le volume le plus saillant de tout l'alignement. Deux atlantes supportaient ce fronton. Il faut sans doute y reconnaître la postérité directe de ceux récemment sculptés par Pierre Puget à l'hôtel de ville de Toulon, en 1653, première apparition spectaculaire de ce motif italien dans l'architecture de la France méridionale. Les fenêtres et la corniche de la façade d'entrée se reproduisent à l'identique sur les quatre côtés de la cour. Ces fenêtres sont presque le motif-signature de La Valfenière : elles ont un chambranle à crossettes avec, sous le débord de chaque crossette, une petite garniture caractéristique en forme de console.