Dans les premiers documents qui mentionnent le château de Castelnau-de-Brassac, la précision d'un moulin banal permet de retrouver l'origine de ce dernier en 1269 (Chabbert, 1995 ; Clerc, 1996, p. 485). Dans des documents postérieurs, des 17e puis 18e siècle, il est précisé qu'il y a un moulin à blé banal à quatre meules, une scie à bois et un moulin foulon, tous possession du seigneur de Brassac. Les moulins sont vendus à des particuliers en 1821. En 1830, Jacques-Louis Vieu, négociant à Castres possède le moulin (A 658), la scie (A 659) et le moulin foulon (A 661, 662) (AD Tarn, 3 P 342). En 1858, le moulin situé en parcelle 658 est diminué en raison de la présence d'un nouveau moulin à Brassac (AD Tarn, 3 P 343, 1858). En 1865, un nouveau foulon en parcelle 663 est construit et l'ancien, situé en parcelle 662, est démoli (AD Tarn, 3 P 343). Le moulin à blé devenu minoterie a fonctionné jusque dans la décennerie 1930 puis elle a été transformée en filature qui a fonctionné jusque dans la décennie 1950.