En 1338, le seigneur de Belpech rend hommage pour La Bastide mais le château n'est pas mentionné. La Bastide est vendue le 13 mai 1416 à Hugues de Lordat, seigneur de Cazenave et devient la Bastide de Cazenave puis La Bastide-de-Lordat. Elle appartient pendant près de trois siècles à cette puissante famille, jusqu'au dernier représentant de cette branche, le marquis François de Lordat, mort à Toulouse le 20 juillet 1767. A l'est du moulon initial du village a pu venir se greffer le château dont la première mention date de 1491, avec un premier fort carré et un patus au nord, non loin de l'église primitive d'après un dénombrement du 17e siècle qui décrit ""un château avec deux tours dont l'une sert de prison, entouré de fossés, confrontant de levant l'église du dit lieu, midi, couchant et septentrion les rues publiques"". D'après la tradition orale, l'écusson aux armes des Lordat, portant la date 1590, incrusté en remploi au-dessus d'une porte de la ferme du Bosc, ancienne ferme du château, proviendrait du château. Au milieu du 17e siècle, il n'en restait plus ""qu'une forme de château ou fort, composé de vieilles maisons closes, partie de murailles, partie de parets de terres, avec fossé et pont-levis, et au-dehors du dit fort, quelques maisons qui forment un village"". Sur le Plan Géométrique de 1806 figure à l'angle nord-est de La Bastide un grand terrain rectangulaire orienté nord-sud, coupé aux deux-tiers par un bâti transversal, avec un autre bâti plus petit dans l'angle sud-est. Ces deux éléments existent toujours dans leur emprise au sol mais les élévations datent du 19e siècle. Sur le plan cadastral de 1812 sont mentionnés plusieurs nouveaux bâtiments : après la Révolution, l'ensemble castral des anciens marquis de Lordat, propriété du Comte Bisson de Beauteville, est vendu comme bien national au tonnelier Raymond Combelle, avec des terres et la ferme du Proux. Des dates portées sur quelques enduits indiquent les périodes de reconstructions (1828, 1829) avec remplois d'éléments lapidaires anciens provenant du château antérieur. La route de Gaudiès à Saint-Amadou passait en 1806 en contrebas des parcelles situées le long du fossé oriental du château, avant d'être déplacée à l'emplacement de ce fossé contre les vestiges de l'ancien mur d'enceinte.