Selon C. Decroix, le château aurait joué un rôle moteur dans la formation du village dont le noyau fortifié ovalaire pourrait correspondre à l'emprise de l'ancienne bassecour. En effet, un acte de 1250, repéré par le marquis de Valady, atteste l'existence d'une résidence seigneuriale dès le 13e siècle (acte de vente par lequel le seigneur de Sanvensa, Ozil de Morlhon, vend les droits qu'il avait sur son domaine de Sanvensa à l'exception de la ""salle"" et autres choses). Cependant, rien ne permet d'affirmer qu'elle se situait à l'emplacement du château actuel, voire à l'intérieur de l'agglomération. Selon la tradition locale, ce château aurait été occupé par un capitaine anglais dans la deuxième moitié du 14e siècle, mais les sources restent à vérifier. L'édifice actuel est un manoir ou une maison forte de la deuxième moitié du 16e siècle probablement commanditée par Jean de Morlhon, sénéchal du Rouergue (édifice inscrit MH, façades et toitures : inscription par arrêté du 29 décembre 1967). Les maçonneries aux parements très irréguliers, les bouches à feu percées dans les tours circulaires massives ainsi que les croisées les plus anciennes confirment cette datation qui est également appuyée par la date de 1573 visible sur une inscription au premier étage de la tour nord-ouest. Le corps de logis moderne prend appui contre un bâtiment de plan rectangulaire qui a été assimilé à la tour maîtresse d'un édifice plus ancien par le marquis de Valady. Cependant, l'observation rapide des élévations extérieures n'a pas permis de confirmer la présence de vestiges médiévaux : la mise en oeuvre des maçonneries et les ouvertures en place rattachent au contraire le corps de bâtiment à la même campagne de construction que le corps de logis. L'ensemble est construit à cheval sur le tracé de l'enceinte villageoise, probablement aux dépends de la nef de l'église ancienne dont le plan irrégulier révélait, avant la reconstruction de l'édifice à la fin du 19e siècle, la disparition de son extrémité ouest (cf. plan cadastral du début du 19e siècle). L'édifice religieux, d'abord dédié à Saint-Vincent puis à Saint-Blaise dès l'époque moderne, était initialement entouré d'un cimetière, comme en témoigne la découverte de sarcophages dans la cour du château. Le secteur situé autour de l'église pourrait donc correspondre à un ancien enclos ecclésial sur lequel est venu s'implanter, dans un second temps, la demeure seigneuriale. La présence d'un site castral antérieur aux structures conservées est probable mais elle doit être appuyée par des sources plus explicites ou une étude archéologique du bâti. En revanche, les relations morphologiques et stratigraphiques entre l'église, le cimetière et le château, le toponyme de l'agglomération, la position centrale de l'église ainsi que la morphologie de l'agglomération pourraient traduire l'antériorité du pôle ecclésial sur l'implantation seigneuriale. Par ailleurs, l'agglomération n'apparaît jamais sous le terme de ""castrum"" qui qualifie les habitats groupés fortifiés associés à un château au 13e siècle et 14e siècles. Au contraire, un acte de 1317 faisant référence à la ""villa"" indique qu'il s'agit bien d'un habitat ouvert qui ne sera mis en défense qu'à la fin du Moyen Age, dans le contexte de la guerre de Cent Ans. L'hypothèse d'un regroupement de l'habitat à l'intérieur d'une basse-cour castrale doit donc être reconsidérée dans la mesure où les fortifications sont postérieures à la genèse de l'agglomération. Le tracé arrondi de l'enceinte, formée par la façade postérieure des maisons alignées, est probablement lié à la présence d'un ancien enclos ecclésial délimitant l'emprise du noyau initial. Il s'agirait ainsi d'un village d'origine ecclésiale dans lequel est bâtie la demeure seigneuriale avant le milieu du 13e siècle ou dans la deuxième moitié du 16e siècle. Le noyau groupé autour de l'église est fortifié après le milieu du 14e siècle et la construction, ou reconstruction, du château du seigneur de Morlhon dans la deuxième moitié du 16e siècle entraîne un bouleversement parcellaire à l'ouest du village fortifié. Au cours de la période moderne, la trame bâtie ne déborde pas de son enceinte qui est mentionnée avec ses portes fortifiées dans les compoix du 17e siècle. Le village ne s'étend qu'aux 18e et 19e siècles mais il s'agit davantage d'un transfert de l'habitat et des activités que d'une véritable extension du bâti. En effet, la route royale entre Cordes et Villefranche, construite au début du 18e siècle en évitant l'agglomération ancienne, génère la formation d'un second noyau d'habitat à l'écart du site primitif. Le noyau ancien conserve le siège de la paroisse mais la vie de village se recentre en même temps que la trame bâtie autour de l'axe routier.