L'édifice est traditionnellement attribué à une hypothétique commanderie des templiers. De fait, son implantation suggère un lien étroit avec l'église qui reste à expliquer. L'église, en même temps que la seigneurie, aurait fait l'objet dès le 10e siècle d'une donation au chapitre de Cahors par un certain Arcambald. Cette donation fut confirmée en 1096 par l'évêque Géraud de Gourdon mais un certain Raimond-Bernard de Durfort (chanoine ?) en aurait fait hommage par la suite au comte de Toulouse. En 1652, le château du Montat semble cependant bien appartenir au chapitre de la cathédrale, qui en paye la réparation du toit (Paul de Fontenilles, op. cit.). L'édification de l'aile médiévale pourrait remonter au premier quart du 13e siècle, voire au dernier tiers du siècle précédent comme le suggère son archère archaïque. L'église, qui s'aligne exactement sur son pignon ouest, n'est peut-être guère antérieure. Le fait qu'elle ait été fortifiée suggère qu'elle ait pu jouer le rôle d'une tour maîtresse au sein de l'ensemble. Remaniements réalisés au 15e siècle et au 17e siècle.