Un château antérieur, probablement protégé par les douves existantes, a occupé l'emplacement du château actuel. Au 15e siècle, la seigneurie des villages de Gardères, Luquet, Seron, et Aast appartenait à la maison de Coarraze. Catherine de Coarraze légua cette seigneurie à son fils Gaston de Foix-Carmaing qui la vendit en 1504 à Bernard II de Coarraze. La seigneurie passa ensuite par héritage aux Castelnau-Laloubêre et fut vendue en 1603 à Antoine d'Incamps, seigneur d'Abêre en Vic-Bilh.£En 1674, Louis d'Incamps, marquis de Louvie, cède le château et sa seigneurie ainsi que les seigneuries d'Aast, Luquet, Séron, et Soumoulou, à Jérôme de Day, marchand de laine, puis trésorier général des finances de la couronne de Navarre. Le château est reconstruit en 1723. La famille de Day conserve cet héritage jusqu'à la Révolution. Pierre Joseph de Day-Gardères dit baron de Day (1760-1812), conseiller au Parlement de Navarre depuis 1779, sera le dernier seigneur des cinq communes. Il émigra pendant la Révolution en Espagne, ses biens furent séquestrés puis affermés de 1798 à 1800. L'inventaire établi en 1795 indique qu'il possédait des immeubles (maisons, champs, près, bois, moulins, à Soumoulou, à Gardères, à Séron, à Luquet, à Pau) estimés à 182.000 livres. Au château de Gardères est inventorié un riche mobilier, ainsi qu'une bibliothèque, une remise avec carosses, cabriolet, écuries, étable.£Après la Révolution, le château revient à la famille Day. Il passe par alliance aux Cazaubon-Lavedan, puis à Marie d'Olce de la Lande de Vic en Bigorre, le 10 Février 1846. L'édifice reçoit quelques modifications datable du début du 19e siècle (ajout de deux tourelles ?). Marie d'Olce vend le château aux enchères à la famille Baqué pour la somme de cinq mille quarante francs en Juillet 1904.£Le château est ensuite progressivement abandonné, oublié, pillé et squatté. Sa restauration est entreprise depuis 1999 par le propriétaire actuel. Le domaine agricole initial occupait probablement un vaste parcellaire de plan rectangulaire, ceinturé par des routes et chemins, qui s'étend au nord du château. Il a été réduit au jardin d'agrément et à l'ancien verger qui accompagnent aujourd'hui la demeure.