Une fouille conduite en 1917 a fait reparaître, au sud-ouest de la chapelle, le sol, aussitôt refermé, d'un autre bâtiment de plan rectangulaire de quinze mètres sur sept : l'un des murs pignons de ce bâtiment, appuyé à l'aiguille rocheuse, reste d'ailleurs visible sur environ cinq mètres de hauteur et porte à ses extrémités les retours de ses murs gouttereaux arrachés. Le dallage de cet espace était de briques posées en arêtes de poisson. Suivant une hypothèse de l'abbé Valla, auteur de la fouille, un regard muré par la suite aurait donné, à travers le mur pignon oriental du local, à l'intérieur de l'anfractuosité rocheuse ayant servi d'abri érémitique, puis de sépulture, à Casarie. L'hypothèse de Valla repose, sans doute, sur la mention par dom Chantelou, religieux de la communauté, d'un sanctuaire de Saint-Nicolas, « sacellum sancti Nicolai impositum antro in quo vixit sancta Casaria ». C'est donc dans cet antre, aujourd'hui invisible, qu'il faudrait localiser l'emplacement d'origine de l'épitaphe de Casaria ou, au moins, l'emplacement où l'observèrent les érudits du 17e siècle : il faudrait alors interpréter ce local comme une chapelle liée au culte de la sainte. Aucune trace de l'hypothétique ouverture n'apparaît dans les maçonneries. On ne possède non plus aucun indice de datation, mais cet édifice de facture grossière ne fait manifestement pas partie des aménagements les plus récents du site. On est donc porté à penser à ce premier établissement religieux, dépendant de l'Église d'Avignon, que les sources mentionnent antérieurement à l'épiscopat de Garnier. Seule une reprise méthodique de la fouille de 1917 permettrait de mieux comprendre la fonction de cet édifice, les origines et les conditions anciennes du culte de la sainte et d'assigner une datation à la ruine. C'est de l'environnement immédiat de ce bâtiment que proviennent les sarcophages mentionnés plus haut et visibles à présent dans l'espace du cimetière compris entre les deux églises Saint-Martin et Saint-André. Il y eut donc, au pied même du rocher, un lieu fort ancien de sépulture, peut-être le plus ancien du site.