Des Saint-Félix apparaissent comme donataires dans le cartulaire de Sylvanès dans les années 1136-1168 (J. Laroze, 2005, p. 493). Le lieu de Saint-Félix est le siège d'une commanderie des hospitaliers de Saint-Jean-de-Jérusalem qui existe au milieu du 12e siècle (l'hôpital de Saint-Félix est mentionné en 1154, cf. A. Du Bourg, 1886, p. 170). Le château est pris en 1562, pillé et occupé par les protestants pendant plusieurs années, puis de nouveau en 1577 ; quand les hospitaliers reprennent possession de leur ""donjon"", il n'en reste que des ruines ; les réparations à peine achevées, Saint-Félix est à nouveau pris par les troupes de Rohan qui dévaste le château de fond en comble (A. D. Bourg, 1886, p. 172, 177). Le château en ruines est mentionné en 1777 (Blancard, ? Grasset, 1873) : un dessin de 1827 pourrait représenter les vestiges qui en subsistaient encore, et qui ne figurent plus sur le plan cadastral de 1830.£L'enceinte qui subsiste en partie est construite en 1438 (Miquel, p. 127). Une maison peut-être du 14e siècle a été repérée dans l'enceinte, rue du Four (parc. 2017 AB 313), et un piédroit sans doute antérieur à 1400 rue du Porche (parc. 2017 AB 184). D'assez nombreux vestiges et quelques demeures datables de la seconde moitié du 15e siècle témoignent de la reconstruction intervenue après la guerre de Cent ans.£Un petit faubourg s'est créé à l'ouest à une époque indéterminée, le village s'étant surtout étendu vers l'est avec le Barry de Saint-Antoine, le long de deux rues parallèles où les plus anciennes constructions ne semblent pas antérieures au 17e siècle. L'une des quelques maisons établies au sud de l'enceinte conserve une arcade brisée chanfreinée qui paraît être en remploi (parc. 2017 AB 147).