Todos los productos
Search

Este producto

    E-MapReduce:Versiones del motor

    Centro de documentos

    E-MapReduce:Versiones del motor

    Última actualización: Sep 04, 2026

    EMR Serverless Spark se ejecuta sobre Apache Spark y procesa todas las tareas mediante código Java o Scala en una máquina virtual Java (JVM) estándar. Esta página describe el formato de versión del motor, las versiones de los componentes incluidos en cada versión del motor y los valores predeterminados de configuración de Spark que pueden afectar el comportamiento de los trabajos.

    Formato del número de versión

    Cada versión del motor sigue el formato esr- (Spark , Scala **).

    Segmento

    Significado

    esr-**

    Número de versión de EMR Serverless Spark. Por ejemplo, esr-2.1.

    Spark **

    Versión de Apache Spark sobre la que se compiló el motor. Por ejemplo, Spark 3.3.1 indica que el motor se basa en Apache Spark 3.3.1.

    Scala **

    Versión de Scala compatible con esta versión del motor. Por ejemplo, Scala 2.12.
    Utilice el entorno de ejecución del motor Fusion para acceder a tecnologías basadas en vectores y bibliotecas nativas, lo cual puede mejorar el rendimiento de ejecución de aplicaciones SQL. Para obtener más información, consulte Fusion engine .

    Versiones del motor y compatibilidad con formatos de tabla de lago

    A continuación se presentan tablas con las versiones de los componentes incluidas en cada versión del motor. Un guion (-) indica que la versión del motor no es compatible con ese componente.

    Serie 5.x

    Versión del motor

    Versión de Spark

    Versión de Scala

    Versión de Delta Lake

    Versión de Apache Hudi

    Versión de Apache Iceberg

    Versión de Apache Paimon

    Versión de JDK

    esr-5.3.0

    4.1.1

    2.13

    4.2.0

    -

    -

    1.4

    JDK 17

    esr-5.2.0

    4.0.1

    2.13

    -

    -

    -

    1.3

    JDK 17

    esr-5.1.0

    4.0.1

    2.13

    -

    -

    -

    1.3

    JDK 17

    esr-5.0.0

    4.0.1

    2.13

    -

    -

    -

    1.3

    JDK 17

    Serie 4.x

    Versión del motor

    Versión de Spark

    Versión de Scala

    Versión de Delta Lake

    Versión de Hudi

    Versión de Iceberg

    Versión de Paimon

    Versión de JDK

    esr-4.9.1, esr-4.9.0

    3.5.2

    2.12

    3.3.2

    0.15

    1.10.1

    1.4

    JDK 17

    esr-4.8.0

    3.5.2

    2.12

    3.3.2

    0.15

    1.9.2

    1.3

    JDK 17

    esr-4.7.0

    3.5.2

    2.12

    3.2.1

    0.15

    1.9.2

    1.3

    JDK 17

    esr-4.6.0

    3.5.2

    2.12

    3.2.1

    0.15

    1.9.2

    1.3

    JDK 17

    esr-4.5.1, esr-4.5.0

    3.5.2

    2.12

    3.2.1

    0.15

    1.9.2

    1.2

    JDK 17

    esr-4.4.1, esr-4.4.0

    3.5.2

    2.12

    3.2.1

    0.15

    1.5.0

    1.2

    JDK 8

    esr-4.3.0

    3.5.2

    2.12

    3.2.1

    0.15

    1.5.0

    1.1

    JDK 8

    esr-4.2.0

    3.5.2

    2.12

    3.2.1

    0.15

    1.5.0

    1.0

    JDK 8

    esr-4.1.1, esr-4.1.0

    3.5.2

    2.12

    3.2.1

    0.15

    1.5.0

    1.0

    JDK 8

    esr-4.0.0

    3.5.2

    2.12

    3.2.1

    0.15

    1.5.0

    1.0

    JDK 8

    Serie 3.x

    Versión del motor

    Versión de Spark

    Versión de Scala

    Versión de Delta Lake

    Versión de Hudi

    Versión de Iceberg

    Versión de Paimon

    Versión de JDK

    esr-3.8.0

    3.4.4

    2.12

    3.0.0

    0.15

    1.5.0

    1.4

    JDK 8

    esr-3.7.0

    3.4.4

    2.12

    3.0.0

    0.15

    1.5.0

    1.3

    JDK 8

    esr-3.6.0

    3.4.4

    2.12

    3.0.0

    0.15

    1.5.0

    1.3

    JDK 8

    esr-3.5.0

    3.4.4

    2.12

    3.0.0

    0.15

    1.5.0

    1.3

    JDK 8

    esr-3.4.1, esr-3.4.0

    3.4.4

    2.12

    3.0.0

    0.15

    1.5.0

    1.2

    JDK 8

    esr-3.3.1, esr-3.3.0

    3.4.4

    2.12

    3.0.0

    0.15

    1.5.0

    1.1

    JDK 8

    esr-3.2.0

    3.4.4

    2.12

    3.0.0

    0.15

    1.5.0

    1.0

    JDK 8

    esr-3.1.1, esr-3.1.0

    3.4.4

    2.12

    3.0.0

    0.15

    1.5.0

    1.0

    JDK 8

    esr-3.0.1, esr-3.0.0

    3.4.3

    2.12

    3.0.0

    0.15

    1.5.0

    1.0

    JDK 8

    Serie 2.x

    Versión del motor

    Versión de Spark

    Versión de Scala

    Versión de Delta Lake

    Versión de Hudi

    Versión de Iceberg

    Versión de Paimon

    Versión de JDK

    esr-2.9.0

    3.3.1

    2.12

    2.2.0

    0.15

    1.5.0

    1.3

    JDK 8

    esr-2.8.1, esr-2.8.0

    3.3.1

    2.12

    2.2.0

    0.15

    1.5.0

    1.2

    JDK 8

    esr-2.7.1, esr-2.7.0

    3.3.1

    2.12

    2.2.0

    0.15

    1.1.0

    1.1

    JDK 8

    esr-2.6.0

    3.3.1

    2.12

    2.2.0

    0.14

    1.1.0

    1.0

    JDK 8

    esr-2.5.1, esr-2.5.0

    3.3.1

    2.12

    2.2.0

    0.14

    1.1.0

    1.0

    JDK 8

    esr-2.4.1, esr-2.4.0

    3.3.1

    2.12

    2.2.0

    0.14

    1.1.0

    1.0

    JDK 8

    esr-2.2.3, esr-2.2.2, esr-2.2

    3.3.1

    2.12

    2.2.0

    0.14

    1.1.0

    0.9

    JDK 8

    esr-2.1

    3.3.1

    2.12

    2.2.0

    0.14

    1.1.0

    0.9

    JDK 8

    Ajustes de parámetros predeterminados

    Para mejorar el rendimiento y la estabilidad, EMR Serverless Spark modifica algunos valores predeterminados de configuración de Spark. Estos cambios aplican a todas las versiones del motor (desde esr-2.x hasta esr-5.x) y pueden provocar que el comportamiento de los trabajos difiera del de Spark de código abierto. Antes de ejecutar sus trabajos, evalúe si estos cambios afectan su lógica de negocio.

    Parámetro

    Valor predeterminado en EMR Serverless Spark

    Valor predeterminado en Spark de código abierto

    Impacto potencial

    spark.sql.sources.partitionOverwriteMode

    DYNAMIC

    STATIC

    Con DYNAMIC, solo se sobrescriben las particiones incluidas en los datos de salida. Con STATIC, se sobrescriben todas las particiones existentes en la ruta de destino, incluso si no contienen datos nuevos. Los trabajos que dependen del reemplazo completo de particiones deben considerar esta diferencia.

    spark.sql.mapKeyDedupPolicy

    LAST_WIN

    EXCEPTION

    Con LAST_WIN, las claves duplicadas en mapas se resuelven silenciosamente al conservar el último valor. Con EXCEPTION, las claves duplicadas en mapas generan un error. Los trabajos que anteriormente dependían del lanzamiento de errores para validar datos no fallarán como se esperaba.