L'inventaire du patrimoine bâti de la commune a été mené en 2004 par la Mission d'inventaire du patrimoine du Conseil d'Architecture d'Urbanisme et de l'Environnement du Tarn. Arfons a été la première commune inventoriée par la Mission dans le cadre du Protocole expérimental de décentralisation du patrimoine signé entre l'Etat, la Région Midi-Pyrénées, le Département du Tarn et le CAUE. Le travail de coordination de la Mission patrimoine au CAUE a été assuré par Ondine Jouve, architecte, et l'inventaire a été mené par Anne-Françoise Maréchal et Sonia Servant. L'inventaire du patrimoine industriel a été pris en charge par Jérôme Bonhôte, chercheur au Service de la connaissance du patrimoine de la Région. La grille d'inventaire utilisée est celle de la base de donnée Mérimée, base de données documentaire nationale sur le patrimoine architectural. L'encadrement scientifique a été pris en charge par le Service régional de l'Inventaire, désormais Service de la connaissance du patrimoine de la Région Midi-Pyrénées, et en particulier Maurice Scellès, conservateur du patrimoine. La volonté des différents partenaires de mener un inventaire préliminaire a imposé une méthode qui consiste à inventorier tout le bâti antérieur aux années 1960. Chaque construction a été non seulement repérée, mais a fait l'objet d'une notice, même succincte. Les notices sont dans ce cas signalées comme "oeuvres repérées". Les constructions représentatives d'un type architectural, ou celles qui font figure d'exception (unicum) sont elles signalées comme des "oeuvres sélectionnées". Toutes sont livrées à la consultation du public. Les raisons de cette couverture systématique s'expliquent par la volonté de fournir un inventaire qui soit un outil d'aide à la décision en matière de préservation du patrimoine. Les hésitations liées à la mise en place de la méthode ont impliqué que le hameau des Bastouls et quelques fermes isolées n'ont pas été couverts par l'inventaire. L'inventaire a donné lieu à une publication Arfons, un village de montagne, dans la collection initiée par la Mission d'Inventaire du patrimoine du CAUE : Guides du Patrimoine du Tarn, en 2007.