Un premier logis est édifié sous le Second-Empire. Istria, propriétaire du café Barrié à Toulouse, acquiert cette vaste demeure et charge, en 1914, Germain Olivier de revoir l'ensemble. L'architecte conserve les proportions du bâtiment d'origine mais en modifie l'intégralité des façades et l'aménagement intérieur. Le percement de grandes baies rectangulaires avec linteaux et appuis en pierre tranchent sur la brique et l'adjonction d'un porche en pierre confère au manoir une allure résolument "moderne" très britannique. L'aménagement intérieur est également repensé et décoré dans le goût de l'époque. Le monogramme sur le porche d'entrée "ID" renvoie aux noms Istria et Domergue.
Les nombreux projets, plans, élévations, dessins et courriers conservés aux Archives départementales dans le fonds Olivier, datent tous des années 1921-1925 (IA31011499). Le portail d'entrée dans la propriété est, lui aussi résolument moderne.
