Le village du Brouilh est implanté dans la vallée de la Baïse, au bord d'un ruisseau dont les eaux ont été captées pour alimenter les fossés. Il présente un plan quadrangulaire dominé au nord par une tour (parcelle A 242), dernier vestige du château, et au sud par la tour-porte transformée en clocher (non cadastrée, entre les parcelles A 274 et 276). Entre ces deux tours, le village se développe de part et d'autre d'une rue d'axe nord-sud d'une centaine de mètres de long. Deux rues perpendiculaires à celle-ci, permettent de desservir les autres maisons du village.£De rares vestiges de l'enceinte collective sont visibles sur le côté oriental du village, notamment sur le chevet de l'église qui réutilise une partie du mur d'enceinte.£Les maisons comportent pour l'essentiel un étage carré. Elles sont généralement bâties en moellon de calcaire. Les toits à longs pans sont couverts de tuiles creuses.