Tras pasar a los Guzmanes y al Estado de Olivares, el señorío fue adquirido por los condes de Montelirio, que transformaron el antiguo palacio en la hacienda de la Divina Pastora. La villa se fue formando en torno a ella. A mediados del siglo XIX la vendieron a los condes de Castilleja de Guzmán.
Una fuente sitúa la compra de la finca por los Montelirio en 1765, no a comienzos del siglo XVII.