Une église est mentionnée à Panjas dès le 11e siècle. L'édifice actuellement visible date pour partie de la fin du 11e siècle ou du début du 12e siècle (abside). Il se trouve sur une sorte de motte fossoyée située à l'ouest de l'agglomération. Les fossés qui bordaient l'église vers l'est ont pu être observés lors de travaux menés dans les années 1960. Le moment du comblement de ces fossés n'est pas connu avec certitude mais il est possible que cela soit intervenu peu de temps après la mise en place du village. Ils n'apparaissent plus dans les documents du 17e siècle.£Le village semble avoir été fondé par la famille de Terride vers le 12e siècle. Certains auteurs suggèrent que le château primitif se trouvait accolé à l'église qui en aurait été la chapelle castrale. Cette hypothèse est tout à fait plausible. Nous pensons cependant que le château des seigneurs de Panjas pouvait déjà se trouver à son emplacement actuel au moment de la fondation du village. Cette hypothèse permettrait d'expliquer le plan particulier du village dont la rue centrale fait un coude vers le sud, précisément vers le château, ce qui est tout à fait exceptionnel dans la région pour ce type d'agglomération.£Le village semble n'avoir pas connu de transformation majeure au cours de la fin du Moyen Age. La nef de l'église a été entièrement reconstruite dans les premières années du 16e siècle.£Dans les livres terriers du 17e siècle, l'abbé Loubès a repéré plusieurs éléments constitutifs du village qui ont aujourd'hui disparu : fossés au nord, au sud et à l'est ; deux portes (sud et est) ; une halle ; trois places (de l'église, Peyrin et du midi de la halle).£Très peu de vestiges médiévaux ont pu être observés en élévation hormis l'abside de l'église et probablement certaines parties du château (non étudié). Un départ d'arc brisé pouvant correspondre à la porte sud est observable sur la maison de la parcelle AR 113.£L'église, hormis le clocher, est inscrite ISMH depuis 1995.