Le castelnau de l'Isle-Bouzon s'est mis en place aux alentours de 1250. La charte de coutumes de 1266 atteste de l'existence de l'enceinte fortifiée à cette date (Lassure). Il y est en effet mention notamment du portier. Il subsiste plusieurs fragments de l'enceinte du milieu du 13e siècle. Cette enceinte parait avoir été remaniée à la fin du 15e ou au début du 16e siècle comme en témoigne l'échauguette conservée au sud-ouest. Le château implanté au nord-est du village faisait partie intégrante de la fortification du castelnau. Le fossé creusé à l'est du village a été comblé à une date inconnue. Le château et l'échauguette sont inscrits à l'Inventaire supplémentaire des monuments historiques.