En 1822, on décide de construire un hôpital pour soigner et isoler les malades de la fièvre jaune. C'est Michel-Raymond Penchaud qui en est l'architecte. Les malades étaient mis "en quarantaine". C'est en 1828 que l'hôpital Caroline est mis en service. Il est utilisé comme hôpital jusqu'en 1841. Puis, on ne l'entretient plus et il se délabre. L'architecte Vaucher le restaure. Il servira à nouveau comme hôpital en 1941 pour accueillir les malades du typhus. Il sera définitivement fermé en 1948.
Entre 1822 et 1828, une digue est également construite pour relier les îles Ratonneau et Pomègues où se trouve le port Dieudonné, port qui accueillait les navires en quarantaine.

Pendant la deuxième guerre mondiale, en août 1944, les Américains bombardent les Allemands installés dans d'anciens forts sur les îles.