Un oratoire est fondé à La Rameria au milieu du 12e siècle, à la demande de Hugues de la Roque, seigneur de Maleville, par Bertrand de Griffeuil, ou de Civrey, qui, à sa mort en 1169, cède toutes ses fondations aux chanoines augustins de l'abbaye Notre-Dame de la Couronne au diocèse d'Angoulême, dont Laramière devient un prieuré. Aucun document ne vient éclairer la construction des bâtiments conventuels (pas plus que la reconstruction de l'église). La salle capitulaire est habituellement datée du milieu du 13e siècle, d'après les formes des voûtes d'ogives et le décor sculpté ; l'aile sud, et en particulier l'ancien réfectoire, est peut-être un peu postérieur et pourrait dater de la fin du 13e siècle ou du début du 14e siècle en raison de la présence d'un listel sur les tores de nervures des voûtes.
Au début du 17e siècle, l'abbaye de la Couronne et ses possessions sont unies à l'Ordre des Jésuites : le prieuré de Laramière est rattaché aux Pères jésuites du noviciat de Toulouse. Les bâtiments font l'objet d'importants remaniements à l'époque moderne : suppression des galeries du cloître et construction de corps de circulation fermés, surélévation des deux ailes est et sud, aménagement d'un deuxième niveau dans l'ancien réfectoire...
Les bâtiments conventuels sont vendus comme biens nationaux pendant la Révolution et acquis par un particulier ; la mairie rachète l'aile orientale en 1846 pour y installer le presbytère délaissé en 1960. Les propriétaires qui se sont succédé dans les lieux depuis 1974 ont réalisé quelques restaurations et aménagements.
