Tras pasar a los Guzmanes y al Estado de Olivares, el señorío fue adquirido por los condes de Montelirio, que transformaron el antiguo palacio en la hacienda de la Divina Pastora. La villa se fue formando en torno a ella. A mediados del siglo XIX la vendieron a los condes de Castilleja de Guzmán.