Cette demeure fut le chef-lieu de l’administration vicomtale et résidence des vicomtes du Conflent au XIe siècle. On peut donc envisager que les plus anciens vestiges sont datables de cette période toutefois, l'ensemble ne semble pas antérieur à la fin du 14e siècle. On sait qu'autour du château, la fortsa, ancienne cellera seigneuriale de 1361 à 1368 fut construite par Ramon de Perellos, seigneur de Joch. Cette enceinte permettait de protéger le village des éventuels pillages des Routiers, œuvrant dans les villages non défendus du Conflent.

Par ailleurs il est fait mention (Revue d’Ille et d’Ailleurs, Numéro 7, Juillet 1987, p 9) d'un inventaire du château effectué en 1393. Ce document permet de comprendre l'organisation de la demeure et de connaître son mobilier : Le rez-de-chaussée comprenait une entrée, avec deux celliers ainsi qu’une grande salle comportant un échiquier, un damier et six boucliers de type pavois. Il y avait également une petite salle où des vêtements féminins étaient entreposés ainsi que du mobilier liturgique. L’inventaire mentionne également une chambre et un grenier au premier étage ainsi qu’une salle avec des armes comme des cuirasses et des arbalètes.

Le vicomte Bernard de Perapertusa hérite de Joch en 1459 et s’installe au château, qui devient la résidence familiale jusqu’en 1656. Le départ de la famille au XVIIIe siècle pour l’Espagne entraina l’abandon du château.

La chapelle seigneuriale Saint-Pierre et Saint-Paul fut transformée en habitation au XIXe siècle.