Le castelnau de Cassaigne a été établi par Montassieu de Galard, abbé de Condom, au cours du 2e quart du 13e siècle (avant 1247, date de sa mort). Le château (ISMH) a appartenu aux différents abbés puis évêques de Condom jusqu'à la Révolution, alors même que la paroisse de Cassaigne dépendait, jusqu'au 16e siècle, du diocèse d'Auch. Si l'histoire du château et de l'église de Cassaigne est relativement bien connue, celle du village l'est un peu moins pour la fin du Moyen Age. L'étude du plan du village laisse supposer un développement en deux phases : d'abord le castelnau à l'ouest du château ; puis un faubourg en contrebas du village, au sud-est de ce dernier. La présence, dans ce faubourg, d'une maison conservant une porte en arc brisé chanfreiné et un parement en moyen appareil en lien avec cette porte (parcelles A 163 et 166) laisse supposer que le faubourg s'est mis en place avant la fin du Moyen Age. En l'état actuel de la recherche, aucun document d'archive ne permet d'étayer cette hypothèse. Il reste quelques vestiges de la fortification médiévale à l'ouest et au sud du castelnau.