Fue para Álvaro Manrique de Zúñiga. Entonces se construyeron el palacio y un convento de franciscanos hoy desaparecido. Después el señorío pasó a los marqueses de Astorga, que por matrimonio lo refundieron con el condado de Altamira, los mismos que heredaron Gelves. Bajo los Altamira siguió hasta la abolición de los señoríos en 1837.