D'après Jean Lartigaut (1987), Labastide-Marsa se trouvait dans la châtellenie de Caylus (actuellement en Tarn-et-Garonne), et pouvait être l'une des tours implantées à proximité de ses limites. La famille de Marsa apparaît dans les textes dès 1225 et en 1289 est mentionné son "hospitium", auquel correspondrait la tour conservée, qui est datable du 13e siècle. Des membres de la famille sont des familiers des papes d'Avignon dans les premières décennies du 14e siècle, tel Jean de Marsa, écuyer de Jean XXII.
On ne sait rien du sort de Labastide pendant la guerre de Cent ans, mais la maison familiale est habitable en 1442, puisque Bertrand de Marsa en fait sa résidence. En revanche, en 1504, noble Pierre de Marsa, seigneur de Marsa, est dit résider dans une maison à Saillac (L. d'Alauzier, 1985) ; en 1551, lorsqu'il épouse Catherine de Reilhac de Lolmie, Jean de Marsa, fils aîné d'Antoine de Marsa, est dit seigneur de Puyvayrols et de Labastide-Marsa.
En 1675, Pierre de Lagardelle est seigneur de Marsa, du Soulié et de Sainte-Eulalie de Candes : le château comprend alors un donjon, deux tours et une galerie (V. Rousset, 2006), et a donc déjà, pour sa plus grande partie, sa configuration actuelle. On est tenté d'attribuer à Pierre de Lagardelle l'importante campagne de travaux du 17e siècle, à laquelle appartient le corps de galeries, mais la date à laquelle il devient propriétaire du château n'est pas connue.
A la veille de la Révolution et en 1810 encore, le château appartient aux Saint-Martin (J. Lartigaut, 1987).
