Une statue de la Vierge, aujourd’hui dans une chapelle aux Sables d’Olonne, provient du sanctuaire de Bourgenay. La statue faisant l’objet d’une vénération particulière sous l’Ancien Régime, nombre de personnes y venaient en pèlerinage pour y guérir des fièvres. La légende raconte que cette statue a été retrouvée sur la côte vendéenne au XVIIe siècle à la suite du naufrage d’un navire appartenant à Flandrine de Nassau, abbesse de Sainte-Croix de Poitiers. La Vierge serait en fait la figure de proue du bateau qui aurait été emportée par les flots jusqu’à Bourgenay…
Pendant les troubles de la période révolutionnaire, la statue aurait été cachée aux Sables par deux femmes pieuses. C’est à leur décès qu’elles auraient confié la statue à sœur Agathonique, Supérieure de l’hospice, mais celle-ci la trouvant trop laide pour être mise dans la chapelle de l’hôpital l’entreposa dans un grenier.
En 1832, en pleine épidémie de choléra, la nouvelle supérieure de l’hospice, sœur Sainte Gracilien, décida la construction d’un modeste oratoire en bois dans un jardin, non loin du lavoir, pour y mettre la fameuse statue (aux Sables d’Olonne). Ce petit oratoire a été béni par l’abbé Dalin, Supérieur du Petit Séminaire. En 1849, une seconde épidémie de choléra a fait plus de 70 victimes aux Sables d’Olonne. Une grande procession de pénitence se fit au sanctuaire le 28 septembre 1849. « Pendant le choléra (de 1849), qui désolait la ville, l’abbé Michaud, curé des Sables, organisa une procession pour implorer le secours de Notre-Dame de Bonne-Espérance. L’épidémie cessa aussitôt. On construisit alors la chapelle de Notre-Dame de-Bonne-Espérance (aux Sables d’Olonne) qui renferme la statue miraculeuse » (journal La Plage n° 12 du 9 septembre 1923).