Au Moyen Age, on pouvait trouver sur son emplacement, nommé Puig Musart, une tour de guet qui permettait la surveillance de la côte nord. Charles Quint la renforce en 1554 d'une enceinte et lui donne le nom de Fort Sainte Thérèse. C'est en 1679 que Vauban ordonne sa destruction et fait construire le fort actuel.
Aujourd'hui, il s'agit d'une caserne militaire abritant le Centre National d'Entraînement Commando, communément appelé, le CNEC. Depuis 1964, les militaires s’entraînent à divers exercices comme des parcours d’audace individuels et collectifs, des franchissements, des mises en œuvre d’explosifs, des combats corps à corps, de la navigation ou bien des combats rapprochés anti-char, par exemple.
Il est fermé au public.
