Possession des Gourdon, le château aurait été donné en 1223 par Bertrand de Gourdon à Dorde II de Barasc, seigneur de Béduer ; une partie de la seigneurie revient au roi vers 1316, puis à Pierre Duèze, frère du pape Jean XXII, dont une fille épouse Hugues de Cardaillac en lui apportant Montbrun (Clary, 1986). Marquès de Cardaillac accorde des privilèges aux habitants du castrum en 1364 (Clary, 1986). Le même Marquès, semble-t-il, est fait prisonnier lorsqu'en 1396 une compagnie de routiers s'empare du château qui lui est restitué l'année suivante (Clary, 1986 ; C. Didon, 1996). Dans le 3e quart du 15e siècle, Mathelin de Cardaillac est seul seigneur de Montbrun (J. Lartigaut, 2000), comme encore son fils Hugues, baron de Cardaillac, seigneur de Brengues et de Montbrun en 1504 (L. d'Alauzier, 1984). La chapelle castrale, dédiée à Saint-Clément, devient église paroissiale après le 15e siècle (J. Lartigaut, 2000, p. 278).£Pris d'assaut par les catholiques en 1579 (E. Cabié, 1906), le château n'est restitué que plusieurs années après à son propriétaire, M. de Suzanne, seigneur des lieux par sa mère, Marguerite de Cardaillac ; il est acheté en 1616 par les Laurency, puis passe par alliance aux La Prune qui le conservent jusqu'à la Révolution (C. Didon, 1996) : délaissé depuis un siècle, il est alors déjà passablement ruiné (J.-A. Delpon, 1831).£Les vestiges du donjon peuvent dater du 13e siècle, et une tour à talon appartient à une campagne de travaux réalisée après la guerre de Cent ans, à la fin du 15e siècle ou au début du 16e.