Todos os produtos
Search

Este produto

    E-MapReduce:Engine versions

    Central de documentação

    E-MapReduce:Engine versions

    Última atualização: Jul 08, 2026

    O EMR Serverless Spark baseia-se no Apache Spark e executa todas as tarefas mediante código Java ou Scala em uma Java Virtual Machine (JVM) padrão. Esta página descreve o formato da versão do mecanismo, as versões dos componentes incluídas em cada versão e as substituições de configuração padrão do Spark que podem afetar o comportamento dos jobs.

    Formato do número de versão

    Cada versão do mecanismo segue o formato esr- (Spark , Scala **).

    Segmento

    Significado

    esr-**

    Número da versão do EMR Serverless Spark. Exemplo: esr-2.1.

    Spark **

    Versão do Apache Spark que serve de base para o mecanismo. Exemplo: Spark 3.3.1 indica que o mecanismo utiliza o Apache Spark 3.3.1.

    Scala **

    Versão do Scala compatível com esta versão do mecanismo. Exemplo: Scala 2.12.

    Versão do mecanismo

    Versões do formato de tabela de lake

    esr-4.3.0 (Spark 3.5.2, Scala 2.12)

    esr-4.2.0 (Spark 3.5.2, Scala 2.12)

    esr-4.1.1 (Spark 3.5.2, Scala 2.12)

    esr-4.1.0 (Spark 3.5.2, Scala 2.12)

    esr-4.0.0 (Spark 3.5.2, Scala 2.12)

    • Delta 3.2.1

    • Hudi 0.15

    • Iceberg 1.5.0

    • Paimon 1.0

    esr-3.3.0 (Spark 3.4.3, Scala 2.12)

    esr-3.2.0 (Spark 3.4.3, Scala 2.12)

    esr-3.1.1 (Spark 3.4.3, Scala 2.12)

    esr-3.1.0 (Spark 3.4.3, Scala 2.12)

    esr-3.0.1 (Spark 3.4.3, Scala 2.12)

    esr-3.0.0 (Spark 3.4.3, Scala 2.12)

    • Delta 3.0.0

    • Hudi 0.15

    • Iceberg 1.5.0

    • Paimon 1.0

    esr-2.7.0 (Spark 3.3.1, Scala 2.12)

    • Delta 2.2.0

    • Hudi 0.15

    • Iceberg 1.1.0

    • Paimon 1.0

    esr-2.6.0 (Spark 3.3.1, Scala 2.12)

    esr-2.5.1 (Spark 3.3.1, Scala 2.12)

    esr-2.5.0 (Spark 3.3.1, Scala 2.12)

    • Delta 2.2.0

    • Hudi 0.14

    • Iceberg 1.1.0

    • Paimon 1.0

    esr-2.4.1 (Spark 3.3.1, Scala 2.12)

    esr-2.4.0 (Spark 3.3.1, Scala 2.12)

    • Delta 2.2.0

    • Hudi 0.14

    • Iceberg 1.1.0

    • Paimon 1.0

    esr-2.2.3 (Spark 3.3.1, Scala 2.12)

    esr-2.2.2 (Spark 3.3.1, Scala 2.12)

    esr-2.2 (Spark 3.3.1, Scala 2.12)

    esr-2.1 (Spark 3.3.1, Scala 2.12)

    • Delta 2.2.0

    • Hudi 0.14

    • Iceberg 1.1.0

    • Paimon 0.9
    Use o ambiente de execução do mecanismo Fusion para acessar tecnologias baseadas em vetores e bibliotecas nativas. Isso pode melhorar o desempenho de execução de aplicações SQL. Para mais informações, consulte Mecanismo Fusion .

    Versões do mecanismo e suporte a formatos de tabela de lake

    As tabelas a seguir listam as versões dos componentes incluídas em cada versão do mecanismo. Um traço (-) indica que a versão do mecanismo não oferece suporte ao componente.

    Série 5.x

    Versão do mecanismo

    Versão do Spark

    Versão do Scala

    Versão do Delta Lake

    Versão do Apache Hudi

    Versão do Apache Iceberg

    Versão do Apache Paimon

    Versão do JDK

    esr-5.3.0

    4.1.1

    2.13

    4.2.0

    -

    -

    1.4

    JDK 17

    esr-5.2.0

    4.0.1

    2.13

    -

    -

    -

    1,3

    JDK 17

    esr-5.1.0

    4.0.1

    2.13

    -

    -

    -

    1,3

    JDK 17

    esr-5.0.0

    4.0.1

    2.13

    -

    -

    -

    1,3

    JDK 17

    Série 4.x

    Versão do mecanismo

    Versão do Spark

    Versão do Scala

    Versão do Delta Lake

    Versão do Hudi

    Versão do Iceberg

    Versão do Paimon

    Versão do JDK

    esr-4.9.1, esr-4.9.0

    3.5.2

    2.12

    3.3.2

    0.15

    1.10.1

    1.4

    JDK 17

    esr-4.8.0

    3.5.2

    2.12

    3.3.2

    0.15

    1.9.2

    1,3

    JDK 17

    esr-4.7.0

    3.5.2

    2.12

    3.2.1

    0.15

    1.9.2

    1,3

    JDK 17

    esr-4.6.0

    3.5.2

    2.12

    3.2.1

    0.15

    1.9.2

    1,3

    JDK 17

    esr-4.5.1, esr-4.5.0

    3.5.2

    2.12

    3.2.1

    0.15

    1.9.2

    1.2

    JDK 17

    esr-4.4.1, esr-4.4.0

    3.5.2

    2.12

    3.2.1

    0.15

    1.5.0

    1.2

    JDK 8

    esr-4.3.0

    3.5.2

    2.12

    3.2.1

    0.15

    1.5.0

    1.1

    JDK 8

    esr-4.2.0

    3.5.2

    2.12

    3.2.1

    0.15

    1.5.0

    1.0

    JDK 8

    esr-4.1.1, esr-4.1.0

    3.5.2

    2.12

    3.2.1

    0.15

    1.5.0

    1.0

    JDK 8

    esr-4.0.0

    3.5.2

    2.12

    3.2.1

    0.15

    1.5.0

    1.0

    JDK 8

    Série 3.x

    Versão do mecanismo

    Versão do Spark

    Versão do Scala

    Versão do Delta Lake

    Versão do Hudi

    Versão do Iceberg

    Versão do Paimon

    Versão do JDK

    esr-3.8.0

    3.4.4

    2.12

    3.0.0

    0.15

    1.5.0

    1.4

    JDK 8

    esr-3.7.0

    3.4.4

    2.12

    3.0.0

    0.15

    1.5.0

    1,3

    JDK 8

    esr-3.6.0

    3.4.4

    2.12

    3.0.0

    0.15

    1.5.0

    1,3

    JDK 8

    esr-3.5.0

    3.4.4

    2.12

    3.0.0

    0.15

    1.5.0

    1,3

    JDK 8

    esr-3.4.1, esr-3.4.0

    3.4.4

    2.12

    3.0.0

    0.15

    1.5.0

    1.2

    JDK 8

    esr-3.3.1, esr-3.3.0

    3.4.4

    2.12

    3.0.0

    0.15

    1.5.0

    1.1

    JDK 8

    esr-3.2.0

    3.4.4

    2.12

    3.0.0

    0.15

    1.5.0

    1.0

    JDK 8

    esr-3.1.1, esr-3.1.0

    3.4.4

    2.12

    3.0.0

    0.15

    1.5.0

    1.0

    JDK 8

    esr-3.0.1, esr-3.0.0

    3.4.3

    2.12

    3.0.0

    0.15

    1.5.0

    1.0

    JDK 8

    Série 2.x

    Versão do mecanismo

    Versão do Spark

    Versão do Scala

    Versão do Delta Lake

    Versão do Hudi

    Versão do Iceberg

    Versão do Paimon

    Versão do JDK

    esr-2.9.0

    3.3.1

    2.12

    2.2.0

    0.15

    1.5.0

    1,3

    JDK 8

    esr-2.8.1, esr-2.8.0

    3.3.1

    2.12

    2.2.0

    0.15

    1.5.0

    1.2

    JDK 8

    esr-2.7.1, esr-2.7.0

    3.3.1

    2.12

    2.2.0

    0.15

    1.1.0

    1.1

    JDK 8

    esr-2.6.0

    3.3.1

    2.12

    2.2.0

    0.14

    1.1.0

    1.0

    JDK 8

    esr-2.5.1, esr-2.5.0

    3.3.1

    2.12

    2.2.0

    0.14

    1.1.0

    1.0

    JDK 8

    esr-2.4.1, esr-2.4.0

    3.3.1

    2.12

    2.2.0

    0.14

    1.1.0

    1.0

    JDK 8

    esr-2.2.3, esr-2.2.2, esr-2.2

    3.3.1

    2.12

    2.2.0

    0.14

    1.1.0

    0.9

    JDK 8

    esr-2.1

    3.3.1

    2.12

    2.2.0

    0.14

    1.1.0

    0.9

    JDK 8

    Ajustes padrão de parâmetros

    Para melhorar o desempenho e a estabilidade, o EMR Serverless Spark substitui algumas configurações padrão do Spark. Essas substituições aplicam-se a todas as versões do mecanismo (de esr-2.x a esr-5.x) e podem fazer com que o comportamento dos jobs difira do Spark open-source. Antes de executar jobs, avalie se essas alterações afetam sua lógica de negócios.

    Parâmetro

    Padrão do EMR Serverless Spark

    Padrão do Spark open-source

    Impacto potencial

    spark.sql.sources.partitionOverwriteMode

    DYNAMIC

    STATIC

    No modo DYNAMIC, apenas as partições presentes nos dados de saída são sobrescritas. No modo STATIC, todas as partições existentes no caminho de destino são sobrescritas, mesmo sem novos dados. Jobs que dependem da substituição completa de partições devem considerar essa diferença.

    spark.sql.mapKeyDedupPolicy

    LAST_WIN

    EXCEPTION

    Com LAST_WIN, chaves de mapa duplicadas são resolvidas silenciosamente, mantendo o último valor. Com EXCEPTION, chaves duplicadas geram erro. Jobs que dependiam do lançamento de erros para validação de dados não falharão conforme o esperado.