L'église Saint-Martial est l'ancienne chapelle castrale (directement reliée au château). L'essentiel du volume et du décor romans (12e-13e siècles) est conservé. Seul le voûtement d'origine a disparu. Les murs goutterots ont été percés pour l'aménagement de chapelles latérales postérieures, mais restaurés au sud après la suppression de ces adjonctions. L'édifice présente un plan rectangulaire allongé, orienté, avec nef unique de trois travées, abside semi-circulaire. Adjonction d'un petit clocher carré accolé à l'extérieur de la nef, au sud. L'entrée se fait au sud par un portail plein cintre avec colonnes latérales à chapiteaux.
Les remparts, avec leurs deux tours rondes, la courtine et le passage voûté au sol caladé construits ou reconstruits au 16e siècle présentent des dispositifs de chicane, canonnières, glacis...
Ils se raccordent au corps des communs qui ferment le périmètre de l'ancienne enceinte et délimitent une grande cour établie autour du puits au sommet de la butte correspondant au site du château médiéval dont subsistent des restes dans les murs de quelques bâtiments entre l'actuel château et le grand pigeonnier. Celui-ci est aménagé sur les bases d'une cour carré médiévale.
Le plus ancien propriétaire mentionné du château remonte à 1100. Le château actuel date de 1758 et a été bâti par Mouton de la Clotte, conseiller à la cour des comptes. Il le fit construire un peu à l'ouest de l'ancien édifice, de façon à le placer à cheval entre deux jardins de petites dimensions. Pour édifier cette résidence au goût du jour, il s'adressa à l'architecte Jean Antoine Giral. Le plan est caractéristique, l'escalier si souvent placé sur l'axe principal étant ici déporté sur l'un des côtés tandis que se trouve au centre, à la place d'honneur, un vestibule permettant d'apercevoir les deux jardins, relié par des dégagements à deux galeries qui servent d'entrée. En élévation, deux particularités sont à noter : tous les angles sont remplacés par des gorges en arrondi ; les quatre pavillons d'angle forment une sorte de second étage cantonnant la toiture du bâtiment central. L'accès à ces pavillons se fait par deux terrasses latérales surélevées au-dessus du sol du grenier et garnies de balustrades. Dans les résidences de cette époque, aux environs de Montpellier, ne se trouve aucun exemple analogue de pavillons surélevés comme à Assas. A l'ouest, la porte est le motif principal de la façade. L'arc et son ébrasement en gorge doivent être l'oeuvre de D'Aviler. Ce bâtiment est un exemple remarquable de résidences d'été construites dans les environs de Montpellier, lorsque cette ville fut capitale du Bas Languedoc.
