Cette tour est identifiée par deux appellations : elle est dite de la prison (Brunel p. 671, Fournier p. 30) ou de Patau (Compoix de 1695 p. 39). En 1145, un acte passé entre Bernard Aton et Déodat de Boussagues mentionne une tour : « le château de Boussagues (castello de Bociagas) » et « la tour de ce château » (turrem praedicti castelli) (Soutou p. 46). Si cette tour peut être reliée au château-haut, il n'est pas question pourtant, d’une tour dite de Patau. La tour a effectivement pu servir occasionnellement de prison, cependant rien ne permet de l’affirmer. Toujours en 1145 et au terme de plusieurs procès, un accord permet de céder la tour au vicomte de Béziers pendant six mois de l’année (Journot Châteaux p. 384). S'il pouvait effectivement exister une tour pour le vicomte, il est étonnant, même si cela n’est pas rare, que celle-ci se trouve en dehors de l'enceinte du château. Si Fournier affirme que la tour de la prison est du 13e siècle (Fournier p. 30), les formes et techniques de construction permettent de supposer une datation large du 12e ou du 13e siècle. Florence Journot suppose qu’elle ait pu abriter un poste de garde attaché à un point particulier de l’enceinte, en notant la proximité de la porte de Villemagne (Journot Recensement p. 20). Il s'agit peut-être là de la tour d'un chevalier mais faute d'autres mentions, la fonction originelle de cette tour reste difficile à appréhender.

Dans les années 1970, André Signoles indique dans un dossier d’inventaire qu’après avoir servi de grange à foin, la tour est devenue une simple remise (Signoles p. 1). Il semblerait aujourd’hui qu’elle soit aménagée en logement.