L’occupation du site est très ancienne, comme l’atteste la découverte au 20e siècle de vestiges liés à l’activité métallurgique sous la chapelle, identifiés par l’archéologue François Roig. Il a en effet mis au jour des fragments de fours en terre cuite, des morceaux d’amphores ainsi qu’un fragment de campanienne. Ce dernier artefact permet de dater l’occupation du site dès l’époque romaine républicaine [CCRP, Clara-Villerach, Eglise (de Villerach) Saint Sylvestre, 2005].
Le site a la particularité de posséder les vestiges d’un ancien château, le « castrum » de Pomers, considéré comme étant le siège du comté de Conflent au 9e siècle [DE POUS, Numéro 106, 1981, p.53]. Il est mentionné en 865 [CAZES, 1977, p.12], au côté de la chapelle « Sancti Stephani » (Saint-Etienne), dans un document relatif à un litige sur la propriété du « Vilar de Mata », situé dans les limites de la villa de Prada. Considéré comme étant le plus ancien document écrit conservé aux Archives Départementales des Pyrénées-Orientales, le plaid évoqué est présidé par le comte Salomon, issu de la lignée des comtes de Cerdagne. Il confronte le comte à l’abbaye de La Grasse, dont la propriété de Prada avait été donnée par le comte Suniefred d’Urgel et son épouse Ermessinde [DE POUS, 1981, p.71]. Lors de cet évènement, les témoins prêtent serment dans l’église Saint-Étienne, dont la localisation est précisée sur le territoire de Vilarac [CAZES, 1977, p.12]. Plusieurs hypothèses historiques ont été formulées au sujet de l’édification de cet ensemble castral. Il pourrait s’agir d’une construction établie par les chrétiens, alors réfugiés dans le massif du Canigou lors de l’occupation musulmane, ou par les arabes eux-mêmes [CAZES, 1977, p.12]. Cette dernière attribution se retrouve dans la toponymie locale, à travers le Roc del Moro ou Puig dels Moros, situé à l’Est de Saint-Étienne de Pomers. De plus, le nom Roca qui désigne le château construit sur un rocher, a été remplacé par le toponyme El Puig dels Moros, à la suite de l’abandon de la forteresse (13e siècle ?) [BASSEDA, Revue Terra Nostra, Numéros 73 à 80, 1990, p.395]. La superstition concernant l’implication des Sarrasins dans la construction du site a été adoptée à ce moment-là.
A partir du 11e siècle, le castrum de Pomers perd son rôle de siège administratif du Conflent, désormais situé au château de Joch. Cette période correspond au rattachement du Conflent à la Cerdagne, devenu une vicomté à part entière [DE POUS, 1981, p.73]. Il est mentionné en 1095, dans le testament du comte de Cerdagne, Guillem Ramon, qui lègue à son fils aîné nommé Guillem Jorda, les comtés de Conflent et de Cerdagne ainsi que leurs châteaux. Il s’agit des édifices de Rodès, Eus (castrum de Ylice), Puig Cerdà, Castell So, Paracolls, Sant Marti dels Castells, Queralt, Miralles, Ax, ou encore Llo, ainsi que du castrum de Sancti Stephani [DE POUS, 1981, p.71]. C’est également au cours de ce siècle qu’un certain Arnald Guillem, fils de Bellescende, prête un serment féodal au comte Guillem, fils d’Adala, pour le castrum, avec la mention latine « castros aut castellos, rochas aut puios » [DE POUS, 1981, p.71]. De nouveaux serments sont prêtés entre 1109 et 1131 par Guillem Petri à Bernard, fils de Sancia et comte de Cerdagne, puis entre 1117 et 1131 par Udalgar, au comte de Barcelone du nom de Ramon Berenger [DE POUS, 1981, p.71]. La plupart de ces serments féodaux sont proclamés par des vicomtes de Fenollède, qui rendent hommage aux comtes de Cerdagne. Par ailleurs, le château de Pomers fut pendant un temps inféodé aux vicomtes de Fenollet, comme l’indique le testament du vicomte Arnald III, établi en 1175. Celui-ci mentionne le lègue de son château de Fenollet ainsi que le « castrum Sancti Stephani de Belerec » [DE POUS, 1981, p.73]. Le lien étroit ainsi établi avec les comtes de Cerdagne, peut s’expliquer par les mariages de femmes aux vicomtes du Conflent.
Au milieu du 12e siècle, le castrum de Pomers est toujours existant, mais son rôle de pouvoir central est éclipsé par le château de Joch, qui jouit de sa pleine puissance tout au long du siècle. L’absence de mention du castrum après le 12e siècle induit un possible abandon du site, et un renouvellement du pouvoir religieux désormais centré à Villerach. En effet, la chapelle Saint-Étienne de Pomers n’est plus la principale paroisse de Villerach, comme l’atteste la mention d’une nouvelle église au sein du hameau dès le 14e siècle [CAZES, 1977, p.92]. La chapelle est par ailleurs transformée en ermitage, tel que l’indique le testament du curé de Saint-Étienne d’Illa daté de 1373. Ce dernier évoque le lègue du lieu « als hermitans de la Roca de Pomers », chargés de prier « le Seigneur Dieu pour son âme et celle de ses bienfaiteurs » [CAZES, 1995, p.16]. L’existence de l’ermitage est signalée en 1403 sous la dénomination « hermita de Sant Esteve de Pomés » puis en 1688 et 1750 (« Sant Esteve de Pomers ») [PONSICH, Revue Terra Nostra, Numéro 37, 1980, p.101]. L’ermite installé dans la chapelle au 18e siècle, parcourait les villages avec une capelleta (petite chapelle portative), qui abritait la statue de Saint-Étienne. A cette époque, plusieurs processions sont organisées, dont une qui partait de l’église Saint-Sylvestre jusqu’à l’ermitage de Saint-Étienne tous les lundis de Pâques, afin d’y célébrer l’office et les vêpres [CAZES, 1995, p.16].
Plusieurs remaniements ont été réalisés par les ermites qui se sont succédé, notamment au 15e siècle avec la reconstruction de la façade Ouest [PÀGES, PUBILL, 1996, p.127] et au 20e siècle, où des peintures iconiques ont été réalisées à l’intérieur de la chapelle. Celles-ci sont l’œuvre de l’ermite actuel du nom de Cassien, un prêtre chrétien orthodoxe (Pope), qui s’installa à Saint-Étienne vers 1970. A son arrivée, la chapelle est en mauvais état ; une grande partie de la toiture s’est effondrée et les murs sont délabrés. De ce fait, le Pope se chargea de restaurer l’édifice et d’orner la chapelle de peintures murales. Les conditions de vie étant rudes, l’ermite se rendait régulièrement dans d’autres lieux de cultes ainsi que les villages alentours, dont Clara où il vit actuellement. A Saint-Étienne, le Pope subsistait grâce aux commandes d’icônes, l’apiculture ainsi que l’élevage des chèvres.
