Les Lolmie sont seigneurs de Ramps, ou Rams, dès le 12e siècle et le restent jusqu'à la fin du 16e siècle. Dernière place forte détenue par les protestants dans la région, le château est partiellement démantelé en 1588 : l'étage supérieur et le donjon sont arasés. Sa reconstruction, qui lui a donné son aspect actuel, est réalisée par les Astorg de Laussac qui en sont devenus propriétaires au début du 17e siècle. Ils le vendent cependant en 1668, avec droit de retour, aux chanoines réguliers de Cahors, pour ne le récupérer qu'un siècle plus tard, en 1779, après un long procès devant le Parlement de Toulouse. Epargné par la Révolution, le château est vendu en 1816 et connaît plusieurs propriétaires successifs.£Un cartouche en remploi portant la date 1579 témoigne sans doute de travaux réalisés pendant les guerres de Religion. L'édifice conserve aussi, dans ses élévations postérieures, des parties de maçonneries en pierre de taille qui peuvent être attribuées au 13e ou au 14e siècle.