Faut-il voir dans la "maison du seigneur Fortanier de Peyrusse", située dans le domaine extérieur de Peyrusse et grevée de 12 deniers de cens en 1285 (F. Angelergues, p. 169), le futur domaine de La Caze ? Les premières mentions sûres de la Caze sont dues à G. OGilvy (1858), qui a eu accès à des sources pour établir sa généalogie des Peyrusse. La plus ancienne est de 1385, quand «noble Jacques de Peyrusse, écuyer, seigneur de La Caze et de Bez, châtelain de Peyrusse, en Rouergue» obtient dêtre exempté des tailles ; en 1456, Bègue de Peyrusse est seigneur de La Caze, du Repaire et de Bez, près de Rignac, son fils Jacques, décédé en 1558, lui succède à La Caze et Bez, puis son petit-fils Andrian, seigneur de La Caze, puis Guillaume qui, avec ses frères et surs, fait faire linventaire des biens de leur mère décédée au château de La Caze en 1578. OGilvy ajoute que le château ayant été brûlé par les Huguenots, celui-ci fit rendre un arrêt d'exécution à mort contre un nommé Cambon (p. 109), mais lenquête citée (p. 113) constate en fait que les protestants «pillèrent la maison et brûlèrent la plus grande partie des papiers». Guyon de Peyrusse rend hommage au roi pour les seigneuries de La Caze et de Bès en 1657 (A. Brémond, 1863). Le cadastre confectionné en 1654 établit que la propriété du seigneur de La Caze est exempte de taille (F. Angelergues, p. 129). En 1758, Marguerite de Peyrusse fait donation de tous ses biens à son mari N Ricard, sieur de La Coste, avocat en Parlement. Le citoyen Ricard est nommé juge de paix du canton de Peyrusse en 1793, et renouvelé en 1798 (F. Angelergues, p. 155, 157).
Bien que non vérifiées par des sources, les informations concernant le 19e siècle paraissent fiables. Jean-Baptiste Ricard, juge de paix du canton de Montbazens, propriétaire de La Caze, est anobli sous le nom de «Ricard de Lacaze» par lettres patentes de Charles X datées du 22 février 1817. Sa veuve et Edouard Delpech, professeur de droit à Toulouse, conviennent en 1841 que ledit Delpech est devenu adjudicataire du domaine de Lacaze en 1839 (F. Angelergues, p. 124). L'unique fille que lon connaît à Jean-Baptiste Ricard épouse Charles Delpech-Delperié : certains de leurs enfants lèguent en 1873 la moitié du château à leur cousine Delphine Delpech-Delperié, fille d'Edouard Delpech, mariée depuis 1866 à Jean d'Armagnac de Castanet et dont la famille s'installe alors à La Caze.
Si le lieu est le siège d'une seigneurie au moins depuis la fin du 14e siècle et au moins jusqu'au milieu du 17e siècle, La Caze ne figure qu'avec le symbole de hameau sur la carte de Cassini, dans la seconde moitié du 18e siècle, et le plan cadastral de 1811 ne mentionne qu'une ferme.
Une première analyse, à l'occasion d'une visite au cours de l'été 2016, a permis de distinguer trois phases principales de travaux. Une porte haute, datable du 14e voire du 13e siècle, identifie un premier bâtiment probablement lié à un mur de clôture, ainsi que le laissent supposer les vestiges d'une porte basse. Ce premier bâtiment a été englobé dans le nouveau château construit au 15e siècle, probablement dans la seconde moitié du siècle, à en juger d'après les rares formes significatives (dalles de hourd, fenêtres). Le corps de bâtiment annexe, accolé au nord-ouest, dont le premier état ne peut être précisément daté, a été augmenté et sans doute transformé en cuisine, en même temps qu'étaient réaménagées les pièces du rez-de-chaussée du corps principal : le style et les formes sont du 18e siècle, tandis que la porte de l'escalier serait en faveur du début du 19e siècle.
Après avoir révoqué en doute la date de 1420 habituellement donnée pour le début des travaux, d'après une seule mention portée sur un dessin de 1830 (F. Angelergues, p. 122), il est possible de proposer une synthèse des données historiques et de l'analyse de lédifice. Les vestiges d'une construction antérieure au 15e siècle s'accordent avec la mention en 1385 d'un seigneur de La Caze. Après la guerre de Cent ans, mais probablement dans les dernières décennies du 15e siècle, l'édifice fait l'objet d'une reconstruction presque complète sur le modèle des petits châteaux, alors en vogue. Des renseignements pourraient être trouvés dans les actes notariés des Rebenes, qui couvrent la période 1401-1556 (S. Jones, 1997). Le château est pillé pendant les guerres de Religion, mais encore habitable en 1578. Sans doute délaissé, il semble perdre son statut jusqu'à sa reprise par Jean-Baptiste Ricard, auquel il faut attribuer sa rénovation à l'extrême fin du 18e siècle, ou peut-être au tout début du 19e, peu avant ou au moment de son anoblissement en 1817. Le dessin de 1830, s'il est faux par bien des aspects, montre que la terrasse, et donc les travaux, ont déjà été réalisés.
