Fueron dos portadas de mármol de Carrara y balaustradas, iguales a las de la casa de Giulio Sauli, y tras ellas seis ventanas y cuatro chimeneas de piedra de Lavagna. El palacio se levantó como residencia y centro administrativo del Estado de Olivares, que reunía las villas de Castilleja de Guzmán, Castilleja de la Cuesta, Heliche y el propio Olivares. Su patio principal es de estilo genovés, con columnas de mármol traídas de allí.