Le village de Boissezon s'est développé sur le versant sud d'une colline défendue par une boucle de la Durenque. La partie la plus haute du village est occupée par l'église Saint Jean Baptiste dont le parties les plus anciennes remontent au milieu du Moyen Age. Légèrement en contrebas, à l'ouest de l'église, subsiste un corps de logis fortifié dont les parties les plus anciennes peuvent être datées des 16e ou 17e siècles ; il pourrait reprendre la place de l'ancien château. Sur le cadastre de 1832, toute la partie haute du village est appelée le fort. En effet, aujourd'hui encore, on devine que le village a été fortifié par l'alignement des maisons qui formaient enceinte. Un corps de bâtiment de plan massé, transformé au 16e siècle et marquant l'accès à la partie haute du village (actuellement 2 rue du Fort), pourrait être le vestige d'un élément de fortification, peut-être d'une porte. Les faubourgs, qui se sont développés au bord de la rivière, conservent des maisons dont les parties les plus anciennes peuvent remonter aux 16e et 17e siècles. Beaucoup sont construites sur la pente et conserve en soubassement un espace de stockage à moins qu'il ne s'agisse d'ateliers. Quelques unes conservent aussi des baies de boutiques dont l'une est datée de 1567. Sept moulins à eaux sont représentés sur le premier cadastre.£Trois usines se sont installées sur la Durenque au cours des 19e et 20e siècles, à l'emplacement d'anciens moulins. La plus importante est l'usine textile de la famille Lasbordes située à la sortie du village, sur la route de Cambounès. Fondée en 1810, elle a fonctionné pendant près de deux siècles et a accueilli jusqu'à 400 ouvriers. Dans le village, au pied de l'église, à l'est, la famille Maraval a installé une filature. En aval, subsistent enfin les bâtiments de l'usine Plo.