Im Mittelalter hatte die Insel wechselnde Eigentümer. Das lag daran, dass sie aufgrund ihrer Lage eine strategisch wichtige Lage hatte und sie somit sehr umkämpft war. 1549 ließ Henri II. die Festung nördlich von Le Palais bauen, die später von Vauban und im 19. Jahrhundert überarbeitet wurde. Doch es kam auch weiterhin zu Plünderungen. Aufgrund ihrer Schönheit (wie der Name schon sagt) hielten sich auch viele Künstler auf der Insel auf.
Und im Laufe des 20. Jahrhunderts entwickelte sich die Insel zu einem Touristenmagnet.
