Le repaire de Mirandol est attesté dès la fin du 11e siècle ; des remparts de cette époque auraient été démolis à la mine au 19e siècle. Gaillard de Mirandol accompagne le vicomte de Turenne lors de la première croisade en 1095.

En épousant Catherine de Faure en 1335, Guérin de Mirandol accepte de joindre à ses armes celles des Faure, mais au siècle suivant le nom de Faure se substitue à celui de Mirandol (C. Didon, 1996), et en 1504, c'est un François Faure qui dénombre pour Mirandol (L. d'Alauzier, 1984). En 1681, la seigneurie passe par alliance aux Lasterie de Saillant qui se maintiennent dans les lieux jusqu'en 1795, date à laquelle le château est vendu à Etienne de Maynard (C. Didon, 1996).

Il subsiste du château du Moyen Age une porte couverte d'un arc brisé, ancienne porte d'entrée donnant aujourd'hui accès à la cave : cette porte date probablement du 15e siècle. L'édifice a été en grande partie reconstruit au début du 17e siècle. Il a subi de nombreux remaniements en particulier au 19e siècle. Une fortification connue sous le nom de "grotte des Anglais" subsisterait dans la falaise au sud du château.