Les vestiges du château situés au Bousquet de la Balme sont appelés Tour de Patau ou Castel de l'Inglès. Le cadastre ancien de 1826 signale la « tour de Pataü » sur la parcelle 516 de la section C3 du Bousquet de la Balme. Sur la carte IGN au 1/25 millièmes, la tour est là aussi de nouveau indiquée mais sous le nom de Tour de Palaü. Dans son ouvrage sur l'histoire de Boussagues, Fournier, alors qu’il mentionne que la Tour de Patau était la tour du château-bas atteste dans le même temps : « C’est non loin du Bousquet de la Balme et à proximité de la métairie de Riols, que se trouvent pour ainsi dire incrustés à un rocher taillé à pic et presque inaccessible, les ruines de la Tour de Patau, connues sous le nom de Castel de l’Anglès par les habitants du pays » (Fournier p. 73).
Concernant l’origine du nom Tour de Patau, Soutou indique l'existence d'un texte datant de 1754 qui mentionne la tour en question. Il s'agit d'un contrat d’achat par la veuve du marquis de Thésan du Poujol à Louis Dalichoux de Sénégra, de divers fiefs nobles situés dans la baronnie de Boussagues, dont « Patau », avec des droits dans le « château de la Tour de Patau ». Soutou souligne que ce fief dit de Patau était déjà mentionné dans une reconnaissance antérieure (1608-1612) concernant le même seigneur (Soutou p. 48). Du Moyen Âge au 17e siècle, la famille seigneuriale des Patau administre la seigneurie de la Voulte à 25 km à l’ouest du Bousquet de la Balme. Soutou fait un lien entre cette famille et le site du Bousquet de la Balme en supposant qu’un coseigneur dénommé Denis de Pataud mentionné en 1606 possédait le site auquel il a donné son nom juste avant l’achat du seigneur de Sénégra. Le château a donc pu faire partie d’un domaine relevant des seigneurs de La Voulte, et prendre seulement au 17e siècle le nom de tour de Patau, une dénomination conservée au 18e siècle malgré le changement de propriétaire et enregistrée encore au début du 19e siècle dans le cadastre ancien.
A propos de l’appellation « Castel de l’Inglès », Soutou fait l'hypothèse que le château du Bousquet de la Balme a été construit par des mercenaires anglais entre 1364 et 1366 et que le site fut surnommé, sans doute dès le XIVe siècle par les paysans des environs : Castel de l'Inglès. Il construit cette hypothèse grâce aux mentions dans les textes de la présence de routiers d’origine anglaise, notamment le témoignage du chroniqueur biterrois Jacme Mascaro dont il reproduit le texte : « Item l’an desus dig fouc pres lou luoc de Bederieus per alcus engles » : en 1364 la localité de Bédarieux fut prise par quelques Anglais. Pourtant, cette appellation est courante et souvent attribuée à l'époque moderne à des sites qui ont la réputation d’avoir servi de repaires à des bandes de mercenaires lors de la guerre de Cent ans (Séraphin p. 46). Cependant, rares sont les routiers qui prennent le temps d’édifier un château. De plus, Florence Journot note des découvertes archéologiques (fragments de céramiques) sur la pente au pied du château qui peuvent être rapportés aux 10e-11e siècles (Journot Recensement p. 155) affirmant ainsi une occupation des lieux antérieure au 14e siècle. Il est d'ailleurs probable qu’un chevalier ait été « chasé » à cet endroit au 14e siècle (Journot Recensement p. 156).
Les formes de construction conservées dans ces vestiges peuvent supposer une datation de l'ensemble aux 13e ou 14e siècles.
