Une tour de chevalier, isolée, datable de la fin du 12e siècle ou de la première moitié du 13e siècle, est peut-être à l'origine de l'édifice, sans que l'on puisse tout à fait exclure qu'elle ait été contemporaine du premier corps de logis qui lui est accolé à l'ouest dans le troisième quart du 13e siècle. Le corps logis, disposé nord-sud, est partiellement conservé lors l'édification au sud de la tour d'un logis orienté est-ouest, peut-être dans le troisième quart du 13e siècle, à moins que la phase de transformation, au cours de laquelle le chapiteau de la cheminée provenant de celle de l'étage supérieur et les fenêtres géminées de l'étage auraient été remployés, associée à une réorganisation des niveaux, ne soit pas antérieure au 15e ou au 16e siècle. L'étude de G. Séraphin (2019) conclut à l'impossibilité de dater avec quelque certitude les différentes campagnes de travaux, en l'absence d'une véritable étude archéologique.
L'extrémité orientale du corps de logis a été démolie, sans doute parce quelle menaçait ruine, et une nouvelle élévation a alors été construite pour fermer le bâtiment peut-être en 1767, date inscrite sur une porte de la tour et qui semble correspondre à des travaux réalisés sur l'ensemble de l'édifice.
La maison, alors appelée Auberge des Mariniers, est achetée en 1912 par le peintre Henri Martin (C. Juskiewenski, 1980). Ses héritiers la vendent à André Breton en 1951 ou peu après (V. Rousset, 2005). Si quelques aménagements ont été réalisés pendant cette période, la demeure n'a pas fait l'objet de travaux de restauration, bien que classée Monument historique en 1923 et contrairement à bien d'autres maisons de Saint-Cirq-Lapopie, et nous est parvenue, pour l'essentiel, dans son état du début du 20e siècle.
L'ancienne maison d'André Breton a été achetée par la commune en 2016 et labellisée « Maison des illustres » en 2018.
