Historiquement, le lieu-dit où se trouve le château est nommé Gouzes. L'appellation "château du Treilhou" n'apparaît qu'au milieu du 19e siècle. Le terme de château est simplement utilisé pour désigner une demeure aisée. Le toponyme "Treilhou" provient du moulin du même nom situé 300 m au nord, sur la rivière de la Lère. Ce moulin est démoli en 1909. Au Treilhou, le bâtiment le plus ancien aujourd'hui conservé est vraisemblablement le logis à un étage situé au sud du château. Ce logis peut dater de la fin du 18e siècle ou du début du 19e siècle. Il correspond à l'importante demeure des frères Jean-Joseph et Jean-Pierre Paris. Le logis compte 14 ouvertures imposables en 1830, ce qui est considérable à Caussade à cette époque. Adrien Prax-Paris devient le propriétaire du Treilhou au milieu du 19e siècle. Vraisemblablement au cours du dernier quart du 19e siècle, il fait construire quelques mètres au nord de l'ancienne demeure, un château de style néoclassique. D'après les matrices de 1882, il compte à cette époque 40 ouvertures imposables. Il comprend également des dépendances agricoles et une orangerie. Adrien Prax-Paris est maire de Montauban de 1860 à 1871, conseiller général du canton de Caussade de 1861 à 1892 et député de Tarn-et-Garonne. Il naît à Montauban en 1829 et meurt en 1909 à Caussade. A sa mort, le château devient la propriété de Didier Rey, fabricant de chapeaux à Caussade et maire de la ville de 1892 à 1913. Sur certaines cartes postales du début du 20e siècle, la propriété est désormais baptisée : "Le Treilhou - Château Rey". En 1920, le château appartient à la société dont il est le directeur général, l'usine Rey-Cousins et Compagnie. Il s'agit de l'usine la plus importante du bassin de Caussade-Septfonds ; elle a employé jusque 600 ouvriers chapeliers. Depuis 1942, le château n'appartient plus à la famille Rey. Plusieurs propriétaires se succèdent au cours de la seconde moitié du 20e siècle. Dans les années 1950, le château connaît d'importants travaux. Le dernier niveau sous les combles est démoli et transformé en étage supplémentaire hourdé au béton. Des photographies du chantier réalisé par l'entreprise Bonnafous de Montauban rendent compte de l'importance des travaux. Les deux flèches polygonales qui coiffaient les tourelles ne sont pas reconstruites. L'orangerie a probablement disparu à cette époque. La fontaine en calcaire située devant l'orangerie est conservée mais la sculpture de griffon en terre cuite qui la couronnait a disparu. Il s'agissait d'une production de la manufacture Virebent. Au fond du parc, un socle dont la sculpture (une nymphe ?, Venus ?) a également disparu rappelle l'ambiance du jardin d'agrément voulu par Adrien Prax-Paris puis par Didier Rey. Malgré les différentes tempêtes plusieurs grands arbres d'origine ont été conservés. Au cours de la seconde moitié du 20e siècle, le site abrite un centre de vacances puis un séminaire. Depuis 1983, il est la propriété du Révérend Père Marziac. L'ensemble se nomme "maison Saint-Joseph" et propose des retraites spirituelles. A cet effet, une chapelle est construite en 1987, dans le parc, au sud du château. Elle est consacrée par monseigneur Marcel Lefebvre.