Während des 17. Jh suchten viele europäische Piraten Unterschlupf in Sainte-Marie.  Sie genossen den trägen Lebenswandel der Inselbewohner und kaperten die vorbeifahrenden Schiffe. In dieser Zeit ergaben sich viele Liebesgeschichten zwischen Seeräubern und madagassischen Prinzessinnen.

Zahlreiche Ruinen zeugen auch heutzutage noch von dieser schillernden Vergangenheit: der Piratenfriedhof, das Haus des ehemaligen französischen Gouverneurs auf der Insel Madame, die katholische Kirche von Ambodifotatra (die älteste Kirche Madagaskars), usw.

Die Geschichte von Sainte-Marie hat zahlreiche Historiker auf die Insel gelockt. Einer der wichtigsten ist zweifelsohne Barry Clifford, ein bekannter, amerikanischer Forscher und Taucher, der im Jahr 2000 das Wrack des legendären Captain Kidd entdeckte.