Le premier château est sans doute le ""castrum"" mentionné dans la première moitié du 11e siècle par le ""Livre des miracles de sainte Foy"" : son emplacement ne serait pas celui du château bâti par le comte de Rodez Henri II sur le terroir du Pla acheté en 1278 (Ginisty, p. 25). Les informations dont nous disposons paraissent cependant contradictoires : la salle comtale aurait été bâtie sur l'emplacement d'un ancien donjon et se trouverait pourtant dans le château construit par Henri II. De fait la tour orientale, la tour Farnal, pourrait en grande partie dater de la seconde moitié du 12e siècle : l'achat du Pla en 1278 aurait donc permis d'agrandir l'édifice à partir de constructions existantes.£La tour ouest, appelée ""tour Panadèse"" du nom des Panat, coseigneurs d'Entraygues auxquels elle appartenait, conserve une élévation en pierre de taille qui peut appartenir au 13e siècle.£Le nouveau château serait achevé en 1290, et c'est dans l'escalier qu'est rédigée en 1292 la charte de franchises d'Entraygues (Ginisty, p. 49, 51). Le seul vestige de ce corps de logis serait son angle sud-est, où apparaît encore à l'étage le piédroit d'une porte. L'édifice a fait l'objet d'un dessin en 1555 et d'une description au 18e siècle, dans lesquels on peine à retrouver la construction qui nous est parvenue. Des lettres royales de 1379 ordonnent le rétablissement des ""bastons et pannonceaux"" du comte d'Armagnac, qui avaient été remplacés par ceux du roi (Ginisty, p. 80).£La ville est prise par les protestants en 1588, et le château est incendié, provoquant la destruction de l'une des tours (Ginisty, p. 148). Puis en 1604, c'est un arrêt du Parlement qui ordonne la confiscation des biens de noble Raymond de Vialar, seigneur d'Entraygues, et la destruction du château qui est rasé à l'exception des deux tours (Ginisty, p. 151-152). Après une longue procédure, Raymond de Montvallat obtient du roi, en 1624, de rentrer en possession de la seigneurie d'Entraygues qu'il tenait de sa mère Paule de Vialar (Ginisty, p. 161). Le château est reconstruit par Henri II de Montvallat de 1654 à 1656, date inscrite sur la porte du corps de logis (Ginisty, p. 50, 166-167). Les Montvallat restent seigneurs et comtes d'Entraygues jusqu'à la Révolution (Al Canton, p. 14). En 1781, le château, qui n'est plus habité que par le concierge, comprend grange, basse-cour et jardin (Ginisty, p. 208) ; à la Révolution, il est vendu comme bien national en deux lots acquis par Rigal et Boubal, celui-ci mutilant les armoiries de la ville et du comte qui se trouvaient sur la porte (Ginisty, p. 229, 242).