Los jardines del palacio, obra de Forestier, están declarados Bien de Interés Cultural y pertenecieron a los condes de Castilleja, que dan nombre al pueblo. Desde su mirador se ve todo el Aljarafe. A lo lejos se distingue la Torre de Contrapeso, único resto del pasado olivarero del municipio y hoy su símbolo.