En 1538 una Real Cédula puso fin a la encomienda de la Orden de Santiago en Castilleja, y en 1539 Carlos I vendió esa parte del pueblo a Pedro Pérez de Guzmán y Zúñiga, conde de Olivares. El alcalde Pedro de Castañeda le entregó la villa salvo la calle Real, que dependía del concejo de Tomares y seguía siendo de la Corona. Los condes intentaron comprarla durante décadas, hasta que en 1624 Gaspar de Guzmán, el conde-duque, valido de Felipe IV, la obtuvo de la monarquía.