Antes perteneció al Cabildo Catedralicio, hasta que en el siglo XVII entró en el señorío de la casa de Guzmán. Hay constancia de que muchos objetos de culto de la actual colegiata de Olivares pertenecían a la parroquia de Albaida. El pueblo se conoció como Sanlúcar de Albaida antes de tomar su nombre definitivo. De la Torre de Don Fadrique, que los vecinos llaman Torre Mocha por su deterioro, se conserva una lápida sobre la puerta: El infante Don Frederic mandó facer esta torre, lo que permite fecharla en la segunda mitad del siglo XIII.