Durante a ocupação pelos Árabes da peninsula Iberica em 715, os cristãos de Atouguia da Baleia veneravam numa pequena ermida uma imagem da Virgem Maria. Com medo das profanações que as sucessivas vagas de Arabes faziam nesta zona resolveram esconder esta imagem na então Ilha de Peniche. Encontrada em 1179 na mesma altura quie a Senhora de Nazaré por um salteador, esta imagem da Nª Sra terá sido guardada na Igreja de S.Vicente nessa época em Peniche de cima. Voltando sempre a aparecer na gruta ond teria sido escondida, decidiram construir um altar nessa gruta, onde lhe acendiam velas. Crescendo a devoção a esta imagem, decidiram então construir uma capela maior deixando a original como Capela Mor. Acontecimentos como este aconteceram igualmente no Sitio em Nazaré e na Sra da Lapa no distrito de Viseu, assim como no Santuario da Sra da Graça em Mondim de Bastos.