La création d'une ville fortifiée sur la pointe de la péninsule de Xiberras est évoquée dès l'installation des chevaliers de Saint-Jean à Malte en 1530. Le grand maître Juan de Homedes ne retient pas cette solution, qui impliquerait l'abandon définitif de Rhodes que les chevaliers ont dû fuir, mais qu'ils espèrent encore recouvrer. Il fait renforcer le Fort Saint-Ange déjà existant A-il-Birgu et bâtir un petit fort sur la pointe de Xiberras pour fermer l'accès à la rade de Marsamxett. Les travaux du fort commencent en 1552 et sont achevés en 1556 par le successeur de Homedes, Claude de La Sengle. La chapelle de Notre-Dame du Bon secours, qui préexistait sur l'emplacement, est intégrée dans le fort et reconsacrée à sainte Anne.
Saint-Elme est alors un petit ouvrage en étoile à quatre pointes, bâti sur le roc, entouré de fossés et renforcé par un cavalier sur sa façade maritime. Il a toutefois pour grave défaut d'être surplombé par le mont Xiberras. Le grand maître Jean de Valette lui adjoint une demi-lune pour le renforcer du côté de Marsamxett. À peine les travaux terminés, Malte est attaquée par la flotte ottomane en mai 1565. Le fort Saint-Elme est le premier attaqué : les Turcs installent leur artillerie principale sur le mont Xiberras et soumettent l'ouvrage à un intense bombardement. La demi-lune est prise d'assaut une semaine plus tard. Un assaut direct est toutefois repoussé et La Valette dépêche des renforts dans l'espoir de faire tenir le fort le plus longtemps possible. Le fort Saint-Elme ne capitule qu'un mois plus tard, presque entièrement détruit sur trois de ses côtés, après avoir concentré sur lui une bonne partie des ressources turques. Sa résistance joue un rôle majeur dans l'échec du siège de Malte.
