Les premiers seigneurs de Sauveterre connus sont Roger de Vintrou et Bertrand Raymond de Durfort qui possèdent à part égale la terre de Sauveterre en 1330 (Haber, p. 17). Il semble ensuite que Roger de Vintrou maria sa fille Gieullianne avec Raymond de Durfort pour réunir la seigneurie. En 1419, Jausionde de Vintrou, dame de Sauveterre épouse Arnulphe de Marla, seigneur de Neuville en Picardie. Sa fille épouse Nicolas de Lettes ou de Electes. La seigneurie reste dans cette famille pour trois générations : Jean de Electis, Guilhaume et un autre Guilhaume. Ce dernier, avec sa sour Jehanne, vend la terre à Laurens et Guilhaume d'Auxilhon, en 1452. Le château est alors décrit comme étant "dominé par une tour et ses dépendances" (Haro, p. 83). Selon les archives du château, il semble bien que cette vente soit rendue nécessaire par "l'état de ruine et de malheur" dans lequel la seigneurie se trouvait à la suite des troubles liés aux conflits de la guerre de Cent ans et à la peste qui sévit dans les environs. A ce moment, le contrat de vente signale que "le château et les murailles du .étoit presque à terre " (Haber, p. 53). Selon Yvette Haber, les archives datent la reconstruction du château de 1494 et l'attribuent au seigneur de Sauveterre, Barthélémy d'Auxilhon, mort en 1520. Le corps de logis construit au sud-ouest de la cour pourrait avoir été édifié à la fin du 15e siècle. La tour ouest conserve des canonnières à la française qui peuvent être datées de cette période. Le plan général du logis -un corps rectangulaire flanqué de deux tours rondes aux angles- appartient aussi à cette période. La famille d'Auxilhon conserve le château pendant plus de cinq siècles ; les propriétaires actuels en sont encore les descendants. Originaire de Picardie, la famille a pour devise "Auxilium meuma domino" et ses armes sont de gueule à trois roues d'argent et à la colombe de sable. Au moment des guerres de Religion, le château est attaqué plusieurs fois. En 1588, il est l'objet d'une première attaque de 150 soldats (Haber, p. 85). Par la suite, en 1622, le seigneur Jacques d'Auxilhon, catholique, est contraint de quitter sa demeure avec toute sa famille. Les huguenots, sous les ordres du duc de Rohan mettent le château à sac et y installent une garnison. Selon les archives, "le château sera libéré puis réoccupé et dévasté vers 1625 par le propre frère de Jacques tenant du parti protestant". En 1629, le seigneur de Sauveterre retrouve son bien "qui se trouve entièrement ruiné. Le château n'avoit que les murailles de bonnes, toits et planchers estoit tous gatés" (Haber, p. 33). En 1667, Jean-Jacques d'Auxilhon et sa femme Marguerite de Renouard remettent le château sur pied (Haber, p. 86). Lors d'un dénombrement de Jean-Jacques d'Auxilhon, "le château et maison seigneuriale" sont décrits comme fermés de murs avec tours et fossés et mesure 20 cannes de longueur sur 10 de large, c'est-à-dire environ 27 x 18 m. Jusqu'à la Révolution, le château reste la propriété de la famille d'Auxilhon. A ce moment, le seigneur possède 7 métairies : le Cournadou, Merle, Gourgne, Guindou (?), Rouan, Sales et Sauveterre. En 1793, les biens de Jean Etienne d'Auxilhon lui sont confisqués et sont affermés à son cousin Maximilien de Gayraud de Lasserre. Ses biens lui sont rendus le 23 brumaire de l'an IX. En 1809, sans héritier direct, il désigne ce cousin comme héritier unique et l'adopte l'année suivante pour que le nom lui survive (Haber, p. 39). Maximilien de Gayraud de Lasserre d'Auxilhon est né en 1764. Orphelin à l'âge de 16 ans, il bénéficie de l'aide de son oncle Jean Etienne d'Auxilhon. Maximilien épouse Marie Pauline de Pins en 1818. Elle vivait au château de Voisins dans la terre de Pezens près de Carcassonne (Haber, p. 47). Les armes de Maximilien sont désormais : écartelé au 1 et 4 d'azur aux trois roues d'or et la colombe d'argent, au 2 et 3 de gueule à la croix d'argent. C'est lui et son épouse qui font restaurer le château à partir de 1819 par le comte Charles de Millau, architecte et propriétaire du château voisin de Saint-Amans-Valtoret. En 1826, les travaux en sont à la décoration intérieure. Maximilien meurt en 1835. Le comte de Millau transforme profondément le logis. Il ouvrent les deux grandes façades au nord et au sud, agrandi le logis vers l'est pour installer l'escalier de service derrière le pan coupé et aménage le portail d'entrée situé entre le logis et l'église. C'est probablement à la suite de ces travaux que sont aménagés les dépendances. Les réaménagements du début du 19e siècle laissent encore visibles un agrandissement du 18e siècle. Les petits corps de bâtiments construits à l'ouest du logis semblent avoir été ajoutés à ce moment, si l'on en croit la forme des arcs segmentaires qui couvrent les ouvertures en rez-de-chaussée.