Pedro de Guzmán, nacido en Sevilla en 1503 y cuarto hijo del duque de Medina Sidonia, sirvió a Carlos I en Alemania, Flandes, Austria y Túnez. Tras un pleito con su hermano Juan Alonso fundó su mayorazgo en Estercolinas. En 1538 compró las villas de Heliche, Castilleja de Alcántara (hoy de Guzmán) y Castilleja de la Cuesta, núcleo del futuro Estado de Olivares. En 1539 se casó con Francisca Ribera Niño; vivían en Madrid pero tenían varias casas en la provincia.