La première mention d'une fortification à Gruissan date de 1084 (Mouynès 1871 : A. M. Narbonne, série AA, note D, 395). Le seigneur était l'archevêque de Narbonne, dont les droits avaient été reconnus par Pépin-le-Bref en 768 (mentionné dans un diplôme de Charles-le-Chauve du 20 juin 844). Pour assurer sa main mise après la reprise de Narbonne aux Arabes, le roi des Francs accorde une puissance temporelle à l'évêque : le droits régaliens qui, dans le diocèse, étaient afférents à la navigation et à l'exploitation des salines, ce qui semble inclure Gruissan.
L'acte de 1084, un partage arbitral, établit que l'évêché de Narbonne n'est pas seul en possession de la seigneurie et assigne à Béranger Daudé et à l'archevêque la possession de droits sur le château de Gruissan avec toute sa dominité et appartenances, terres, vignes, maisons, jardins, prés, garrigues, hermes, quête, usage, service sans exception ni réserve (Ibid. p. 395). L'archevêque, co-seigneur de Gruissan acquiert progressivement une certaine supériorité dans la co-seigneurie : c'est ainsi qu'Arnaud de Raissac, successeur des Daudé lui rend hommage en 1192 quant au château de Gruissan. Le co-seigneur devient Rodrigue de Narbonne après 1208, puis à Bérenger de Boutenac qui tente de récupérer la totalité de la seigneurie, mais finit par rendre hommage à l'archevêque dès 1256. Les héritiers Boutenac décident en 1296 de quitter cet état de dépendance et vendent leur part du château de Gruissan, avec les droits associés à l'archevêque de Narbonne Gilles Aycelin pour une somme de 3 000 Livres melg. (Ibid. p. 396)
En temps de guerre, le roi prenait possession du château et y plaçait une garnison, par suite d'une réserve dont l'origine est inconnue mais dont l'existence est démontrée par une procédure de 1289 au Parlement de Toulouse.
La date de la construction est déterminée par deux documents : une charte de 1245 indique qu'il existait alors une vieille tour au centre de la partie supérieure du château. Un document de 1247 précise que, outre cette tour, une autre tour fut construite vers l'entrée, laquelle serait la tour actuelle. Ces deux tours correspondent à l'état de co-seigneurie à Gruissan à la même époque. Un arbitrage précise que l'archevêque occuperont la partie supérieur du château, au nord et que Bringuier de Boutenac, se cantonnera à la partie sud. Chaque partie possède son entrée (Inventaire des actes et documents de l'archevêché de Narbonne, p.-47). On apprend également dans ces documents l'existence d'une chapelle dans la partie supérieure du château ainsi que de créneaux. Dans le dénombrement remis à l'archevêque devant le sénéchal de Carcassonne en 1547, "un château bien fort" fait partie de la seigneurie de Gruissan (bid. p. 398).
Une légende locale lui donne le nom de "Tour Barberousse", légende qui attribue sa construction à Khair Eddin Barberousse (1476-1546), bey d'Alger, amiral de Soliman II, qui unit sa flotte à celle de François Ier pour combattre celle de Charles Quint. Il pourrait s'agir d'une confusion avec Gaspar Dot, dit ""Barbe Roussette"", corsaire à la solde du duc de Joyeuse. Il commandait en 1589 à La Nouvelle, près de Gruissan et aurait participé aux actions qui se déroulèrent à Gruissan de 1589 à 1593 (prise du château par Montmorency en août 1589 ; évacuation lors de la trève ; reprise par Montmorency en septembre 1592 ; reprise par les Ligueurs en juillet 1594).
L'enceinte serait plus récente que la tour. Ces renforcements des défenses du château ont dû se faire vers 1333 lorsque, les pirates infestant la côte, Narbonne dut implorer la protection de Philippe de Valois. Le fort fut abandonné au 17e siècle et une partie des murs s'effondra en 1797. Depuis, les démolitions sont dues aux prélèvements des habitants.
