La recogió fray Francisco de Angulo en la crónica del convento que escribió en 1584. Según esa tradición, la Virgen respondió a las oraciones de unas cristianas cautivas de los musulmanes y las liberó; al despertar se encontraron a corta distancia de la torre de Loreto, en un punto que aún hoy marca un crucero de ladrillo. Un manuscrito hallado junto a la imagen afirmaba que venía de la iglesia de Santa María de las Huertas de Nápoles, traída y escondida en el tronco del olivo por unos frailes que predicaron en Sevilla.