Le domaine de Potensac est mentionné dans les documents d'archives depuis le début du 13e siècle. Il relève alors du prieuré bénédictin de Millau qui l'afferme dès le début du 13e siècle et qui donne notamment la faculté d'y faire dépaître le bétail du fermier du domaine des Fons, situé non loin, sur les pentes du Larzac. Au début du 14e siècle (cartulaire de Courtines) on y produit dès blés et du vin. Au début de ce siècle, un procès oppose les consuls de Millau au prieur de Notre-Dame au sujet de sa possession. Au 17e siècle, on y extrait du charbon pour le four à chaux construit dans le quartier des Carmes à Millau (au sud-ouest de la ville, hors les murs, dans la quartier du pont vieux), activité qui semble se prolonger au-delà de cette date, des mines de liginites étant exploitées non loins du hameau. La modénature des baies qui subsistent dans les vestiges et l'organisation des fermes suggèrent que les parties conservées ne sont pas antérieures au 16e siècle ; mais la majorité d'entre elle accuse toutefois des formes datables des 18e-19e siècle. Il faut ensuite attendre la deuxième moitié du 20e siècle pour que sa chapelle soit élevée par les petits frères des pauvres, légèrement à l'écart, au nord du hameau, en bordure des falaises.