La présence d'un château est attestée à Hauterive dès l'époque médiévale. En 1152, il est fait mention de la famille et du château à l'occasion d'un don fait par Pierre de Hauterive, sa femme et ses frères à l'abbaye de l'Ardorel ou de la Rode (AD 81 H2, Cartulaire de l'abbaye).

Le domaine existait au 13e siècle puisque Guillaume de Puylaurens évoque la prise du château en 1226 par Simon de Monfort dans sa célèbre "chronique". Hauterive est inféodé à la seigneurie de Castres et lorsque Jeanne, fille de Philippe II de Montfort, épouse Arnaud Raymond d'Hautpoul en 1301, le domaine lui est donné en dot.

La position stratégique de l'édifice, en défense avancée de la seigneurie de Castres, justifie le fait qu'il ne soit "confié" qu'à des fidèles proches ou mieux à des familiers du seigneur éminent et la transmission de la seigneurie et du château sera assurée par la famille d'Hautpoul jusque dans les premières années du 17e siècle.

Les vestiges d'éléments défensifs (archères en bêche ou en étriers) sont stylistiquement datables autour de 1300. La campagne de travaux n'est pas documentée mais il serait logique de la situer au milieu du 14e siècle, époque à laquelle on relève les fortifications dans la région pour se prémunir des raids du Prince noir. La ville de Castres, décimée par la guerre de Cent Ans ne relève ses fortifications qu'à partir de 1373.

Dans le courant du 16e siècle, les Hautpoul entreprennent un important chantier mais on ne dispose d'aucune documentation. Il donne lieu à des interventions "de prestige" dont le château conserve quelques éléments de décor porté de qualité tout en lui maintenant un caractère défensif affirmé : présence de nombreuses canonnières sur les tours rondes aux baies ornementées.

Vers 1586, Madeleine, la fille unique de Sébastien d'Hautpoul,hérite de la seigneurie d'Hauterive érigée en baronnie. Elle en investit son mari Louis de Caires, second fils d'Antoine de Caires, seigneur d'Entraigues en Vivarais. C'est sous le titre de baron d'Hauterives que Louis de Caires acquiert la célébrité en participant à toutes les campagnes du duc de Joyeuse. Il joue un rôle important en 1592, dans la conclusion de la paix, en participant aux débats des Etats du Languedoc et en oeuvrant à la dissolution de la Ligue et pour le ralliement de la noblesse locale au roi Henvi IV. Récompensé par le roi par l'octroi de terres et de pensions, le baron continue de servir Louis XIII sous les ordres du maréchal de Thémines.

Même si ses occupations militaires le tiennent éloigné de son domaine, on lui doit les travaux de reconstruction partielle du château dans le premier quart du 17e siècle. C'est essentiellement l'aile orientale, alignée sur le Thoré qui est mise en chantier. Les dates de 1619 et 1629 portées sur le corps de logis attestent de ces travaux qui semblent fort avancés dès 1625, date à laquelle les moines du couvent des Trinitaires de Castres choisissent d'y mettre à l'abri leur mobilier précieux (AD81 H2).

Rostaing-Louis, fils de Louis, député des Etats du Languedoc à la cour semble délaisser Hauterive. Sa fille unique Madeleine de Caires épouse le 2 juin 1646 Marc de Calvière, conseiller a parlement de Toulouse qui devient ainsi le nouveau baron d'hauterive. Le fille Charlotte, orpheline à 5 ans, se trouve à la tête de biens considérables qui sont placés sous la tutelle de son oncle Jean de Calvière qui la promet en mariage au fils de l'un des ses amis Fulcran Lenoir de Clermont. Le mariage est célébré à Laguiole en 1660 mais des dissensions familiales, animées par l'importance de l'héritage entraînent un abandon chateau au profit des métayers qui le transforment en centre d'exploitation agricole.

Dans la première moitié du 18e siècle, il échoit à la famille de Valady par héritage mais comme de nouvelles querelles de succession se profilent, Philippe Ysarn de Valady décide de vendre le domaine à Jean Joseph de Villeneuve en 1776. Né à Saint-Pons en 1734, il sert brillamment le roi dans le régiment de Bourbon et prend rang à la cour, en 1780. Il fait un riche mariage avec Rose d'Ambard, fille d'un riche drapier de Saint-Pons et meurt au château en 1808 après une longue détention dans les geôles révolutionnaires.

Les décors de gypserie qui subsistent dans l'aile est du château témoignent d'une campagne de remise au goût du jour postérieure au mariage Amblard Villeneuve. Leur fils Jean-Baptiste-Marie-Louis dit "comte Louis de Villeneuve" habite le château quand ses charges au service du roi le lui permettent. Il accompagne le comte de Choiseul à Constantinople, se fait remarquer comme lieutenant de vaisseau dans les campagnes des mers du Levant, des Antilles et de Norvège avant de quitter la France en 1792. De retour en France en 1800, il est nommé Capitaine de Frégate par Louis XVIII puis capitaine de vaisseau en 1819.

Né en 1768 du mariage avec Rosalie d'Avessens de Montcal, petite fille de Paul Riquet, Jean Baptiste Marie Louis II sera un homme politique important dans le département du Tarn. Féru d'agriculture et d'industrie, il est maire de Castres de 1826 à 1830 et s'emploiie à remettre le domaine en état. Il créée à Hauterive une filature de laine et une minoterie. Entre la fin du 19e siècle et les toutes premières années du 20e siècle, les Villeneuve entreprennent une ambitieuse campagne de rénovation et de transformation du château.

Plusieurs documents graphiques signés par l'architecte Alexandre Garros sont conservés dans les archives familiales. Datés de 1903, ces plans et projets d'élévation proposaient une transformation radicale du domaine. Hauterive aurait pu devenir un pastiche parfait du château de la Renaissance dans le même esprit que celui de la plupart des restaurations Garrros. Cependant les projets ne se sont pas concrétisés ; seules quelques améliorations sont intervenues sur les élévations extérieures et dans les distributions intérieures. Hélas, elles ne sont pas documentées.

On sait qu'il existait un jardin à la fin du 18e ou au début du 19e siècle car il est décrit dans les mémoires de Léontine Villeneuve. Ce jardin régulier est remplacé par un "jardin à l'anglaise". Le potager disparaît ainsi que le parterre fleuri. Une vaste prairie remplace l'ensemble, traversée d'allées ombragées aux formes plus adoucies. Aujourd'hui l'esprit et le dessin de l'ensemble du jardin demeurent.