Le hameau de Saint-Xist se situe à 2,7 km au nord de La Tour-sur-Orb, le sud du hameau est entouré de terres cultivables (vignes, oliviers) et de prairies.

Au nord, et à l'écart du hameau se trouve l'église de Saint-Xist, à laquelle on accède grâce à une calade restaurée il y a quelques années. A proximité de l'édifice, se trouve les ruines d'un ancien château (parcelle 154), dont il reste trois murs épais en élévation. L'ancien cimetière est attenant au mur nord de l'église, un cimetière plus récent est construit à l'est du hameau (parcelles 104 et 127). Trois croix monumentales sont situées à l'ouest, à l'est et au sud de l'église.

Au sud de l'église, quelques constructions récentes de type pavillon s’élèvent de part et d'autre de la rue du prieuré. Une placette est dédiée à Ferdinand Fabre (1827-1895), écrivain connu dans la région, notamment pour son livre Les Courbezon, scènes de la vie cléricale, rédigé en 1862. De l'autre côté de la route départementale (D35E22) se trouve un groupement d'habitations. Dans leur ensemble, les bâtiments sont construits avec des moellons parfois enduits ou avec des matériaux plus récents de type parpaings et dans ce cas systématiquement enduits. Les encadrements de baies et les moellons sont issus d’une pierre d’extraction locale de couleur rouge dont la grande représentation s’explique avec la proximité du hameau Le Ruffas où l’on trouve la ruffe (roche formée par la combinaison de sédiments argileux et d'oxydes de fer). Les constructions sont en majorité couvertes de toits de tuiles à long pans. La plupart d'entre elles ont fait l'objet d'aménagements au cours des dernières années. Le hameau possède une ancienne école (parcelle 20), deux puits à manivelle (parcelles 2 et 15) et un lavoir bétonné avec assise de pierres. A l'extrême est du hameau, on note la présence d'une zone industrielle avec les bâtiments Pierre Fabre Dermo Cosmétiques.