Au 8e ou au 9e siècle, la villa de Gabian est tenue en mains propres, avec ses vignes et terres, par l’évêque de Béziers (bref d’Ansefred, dressé entre 693 et 875). Cette position privilégiée au sein du domaine épiscopal est confirmée en 1216 par une bulle du pape Honorius III. La seigneurie ecclésiastique de Gabian occupe alors une position stratégique, entre mer et montagne, et s’impose comme un important centre d’échanges et de commerce, obtenant même du vicomte Roger un marché hebdomadaire le mercredi à partir de 1180. Les évêques de Béziers s’attachent à l’essor économique de leur seigneurie tout en remodelant l’habitat sur le modèle castral.

A la fin du 12e siècle, le village possède une double enceinte. La première, réservée au seigneur et à ses proches, occupe la partie sommitale du village ; la seconde est formée d’un bâti lâche, entouré de vignes et jardins. La résidence d’été des évêques, est bâtie au 13e siècle sur l’enceinte extérieure, à proximité de la Thongue, et participe à la défense du village. Elle est l’héritière de l’ancienne maison des viguiers (lignage des de Gabian), évincés par les évêques de Béziers désireux d’obtenir la possession principale de Gabian. La vaste salle du premier étage, dite de l'Abescat, s'ornait d'un plafond peint réalisé au milieu du 15e siècle sous l'épiscopat de Guillaume VII de Montjoie, évêque Béziers de 1424 à 1451.