Le fort Saint-Jean que l'on voit à droite surveille le port au nord. L'origine du fort remonte au XIIe siècle avec la commanderie des Hospitaliers de Saint-Jean de Jérusalem. La Tour Carrée commandée par le roi René date du XVe siècle.

Louis XIV reprend aux Hospitaliers la tour Saint-Jean pour l'inclure dans les remparts élevés en 1666, après que les fortifications de la commanderie Saint-Jean eurent été remaniées par l'ingénieur Clerville sous les ordres de Vauban, ainsi c'est Louis XIV qui fera construire par le Chevalier de Clerville la tour du Fanal, tour de guet, vers 1670.

Le fort Saint-Nicolas au sud, aussi appelé la Citadelle, est édifié de 1660 à 1664 sur ordre de Louis XIV : on remarque le plan défensif en étoile, cher à Vauban.Il existait déjà à cet endroit, au XIIIe siècle, une tour de défense qui sera agrandie au siècle suivant.