En 1627 la villa fue enajenada de la Corona a favor del conde-duque de Olivares, y desde entonces la gobernó un teniente gobernador en su nombre. En esa época se segregaron de su término Camas y la calle Real de Castilleja de la Cuesta. Tras la muerte de Gaspar de Haro, el señorío pasó por herencia a la casa de Alba. Según la tradición, fue también el conde-duque quien instauró la romería de San Sebastián, que se celebraba el 20 de enero y en los años ochenta del siglo XX se trasladó a mayo por el tiempo.