EMR 5.x series release notes - E-MapReduce: Central de Documentação do Alibaba Cloud

EMR-5.21.x

Data de lançamento

Versão	Data
EMR-5.21.0	27 de outubro de 2025

Novidades

Service	Alterações
Hive	Adiciona um mecanismo de Profile que detecta automaticamente formatos de arquivo de armazenamento em data lake, como ORC, e aplica parâmetros de buffer e pré-leitura otimizados pelo JindoSDK. Introduz um mecanismo de pré-busca de ORC Stripe para melhorar o throughput ao processar arquivos ORC de médio a grande porte. Este recurso sobrepõe computação e I/O ao pré-buscar Stripes subsequentes de forma assíncrona enquanto o Stripe atual está sendo processado. Adiciona suporte para leitura vetorizada de ORC. Operações como leitura de dados de índice ORC ou execução de predicate pushdown podem gerar muitos intervalos de arquivo espalhados e não contíguos. A leitura vetorizada agrupa essas solicitações em lotes para melhorar significativamente o throughput. Integra a API de metadados em lote do JindoSDK. Este recurso aumenta o throughput de solicitações de metadados ao agrupar solicitações como `getFileStatus`.
Spark	Adiciona um mecanismo de Profile que detecta automaticamente formatos de arquivo de armazenamento em data lake, como ORC, e aplica parâmetros de buffer e pré-leitura otimizados pelo JindoSDK. Introduz um mecanismo de pré-busca de ORC Stripe para melhorar o throughput ao processar arquivos ORC de médio a grande porte. Este recurso sobrepõe computação e I/O ao pré-buscar Stripes subsequentes de forma assíncrona enquanto o Stripe atual está sendo processado. Adiciona suporte para pré-abertura paralela de arquivos pequenos. Este recurso detecta automaticamente cenários de consulta de arquivos pequenos e pré-abre um lote de arquivos em paralelo para reduzir significativamente a latência de I/O causada por aberturas frequentes de arquivos. Adiciona suporte para leitura vetorizada de ORC. Operações como leitura de dados de índice ORC ou execução de predicate pushdown podem gerar muitos intervalos de arquivo espalhados e não contíguos. A leitura vetorizada agrupa essas solicitações em lotes para melhorar significativamente o throughput.
Tez	Adiciona suporte para pré-abertura paralela de arquivos pequenos. Este recurso detecta automaticamente cenários de consulta de arquivos pequenos e pré-abre um lote de arquivos em paralelo para reduzir significativamente a latência de I/O causada por aberturas frequentes de arquivos.
Ranger	O Jindoauth Server suporta RAM Roles personalizadas para clientes que acessam o Object Storage Service (OSS). Corrige dependências ausentes no `Ranger-yarn-plugin`.
Paimon	Atualizado para a versão 1-ali-16.3.
JindoCache	Atualizado para a versão 6.10.1.
Delta Lake	Introduz o Delta Lake como um novo componente, versão 3.2.1.

Informações de lançamento

Cluster de data lake

Service	Versão
Hadoop-Common	3.2.1
HDFS	3.2.1
OSS-HDFS	1.0.0
Hive	3.1.3
Spark2	2.4.8
Spark3	3.5.3
Tez	0.10.2
Trino	422
Delta Lake	3.2.1
Hudi	0.15.0
Iceberg	1.5.0
Flume	1.11.0
Kyuubi	1.9.2
YARN	3.2.1
OpenLDAP	2.4.46
Ranger	2.3.0
Ranger plugin	1.0.0
DLF-Auth	2.0.2
Presto	0.283
ZooKeeper	3.8.4
Sqoop	1.4.7
Knox	1.5.0
Celeborn	0.5.2
JindoCache	6.10.1
Paimon	1-ali-16.3

Cluster OLAP

Service	Versão
StarRocks2	2.5.22
StarRocks3	3.2.11
Doris	2.1.4
ClickHouse	23.3.13.6
ZooKeeper	3.8.4

Cluster Dataflow

Service	Versão
Hadoop-Common	3.2.1
HDFS	3.2.1
OSS-HDFS	1.0.0
YARN	3.2.1
OpenLDAP	2.4.46
ZooKeeper	3.8.4
Knox	1.5.0
Flink	1.17.2
Paimon	1-ali-6.2

Cluster de data serving

Service	Versão
Hadoop-Common	3.2.1
HDFS	3.2.1
OSS-HDFS	1.0.0
OpenLDAP	2.4.46
Ranger	2.3.0
Ranger plugin	1.0.0
ZooKeeper	3.8.4
Knox	1.5.0
HBase	2.6.3
JindoCache	6.8.2
Phoenix	5.2.1

Cluster personalizado

Service	Versão
Hadoop-Common	3.2.1
HDFS	3.2.1
OSS-HDFS	1.0.0
Hive	3.1.3
Spark2	2.4.8
Spark3	3.5.3
Tez	0.10.2
Trino	422
Delta Lake	3.2.1
Hudi	0.15.0
Iceberg	1.5.0
Flume	1.11.0
Kyuubi	1.9.2
YARN	3.2.1
OpenLDAP	2.4.46
Ranger	2.3.0
Ranger plugin	1.0.0
DLF-Auth	2.0.2
Presto	0.283
StarRocks2	2.5.22
StarRocks3	3.2.11
ZooKeeper	3.8.4
Sqoop	1.4.7
Knox	1.5.0
Celeborn	0.5.2
Flink	1.17.2
HBase	2.6.3
JindoCache	6.10.1
Paimon	1-ali-16.3
Phoenix	5.2.1

EMR-5.20.x

Data de lançamento

Versão	Data
EMR-5.20.0	10 de julho de 2025

Novidades

Service	Alterações
Hive	Melhora o desempenho ao adicionar colunas a tabelas particionadas.
YARN	Melhora o agendamento global para evitar que certos aplicativos degradem o desempenho do cluster.

Versões dos componentes

DataLake

Service	Versão
Hadoop-Common	3.2.1
HDFS	3.2.1
OSS-HDFS	1.0.0
Hive	3.1.3
Spark2	2.4.8
Spark3	3.5.3
Tez	0.10.2
Trino	422
Hudi	0.15.0
Iceberg	1.5.0
Flume	1.11.0
Kyuubi	1.9.2
YARN	3.2.1
OpenLDAP	2.4.46
Ranger	2.3.0
Ranger-plugin	1.0.0
DLF-Auth	2.0.2
Presto	0.283
ZooKeeper	3.8.4
Sqoop	1.4.7
Knox	1.5.0
Celeborn	0.5.2
JindoCache	6.8.2
Paimon	1-ali-6.2

OLAP

Service	Versão
StarRocks2	2.5.22
StarRocks3	3.2.11
Doris	2.1.4
ClickHouse	23.3.13.6
ZooKeeper	3.8.4

DataFlow

Service	Versão
Hadoop-Common	3.2.1
HDFS	3.2.1
OSS-HDFS	1.0.0
YARN	3.2.1
OpenLDAP	2.4.46
ZooKeeper	3.8.4
Knox	1.5.0
Flink	1.17.2
Paimon	1-ali-6.2

DataServing

Service	Versão
Hadoop-Common	3.2.1
HDFS	3.2.1
OSS-HDFS	1.0.0
OpenLDAP	2.4.46
Ranger	2.3.0
Ranger-plugin	1.0.0
ZooKeeper	3.8.4
Knox	1.5.0
HBase	2.6.3
JindoCache	6.8.2
Phoenix	5.2.1

Personalizado

Service	Versão
Hadoop-Common	3.2.1
HDFS	3.2.1
OSS-HDFS	1.0.0
Hive	3.1.3
Spark2	2.4.8
Spark3	3.5.3
Tez	0.10.2
Trino	422
Hudi	0.15.0
Iceberg	1.5.0
Flume	1.11.0
Kyuubi	1.9.2
YARN	3.2.1
OpenLDAP	2.4.46
Ranger	2.3.0
Ranger-plugin	1.0.0
DLF-Auth	2.0.2
Presto	0.283
StarRocks2	2.5.22
StarRocks3	3.2.11
ZooKeeper	3.8.4
Sqoop	1.4.7
Knox	1.5.0
Celeborn	0.5.2
Flink	1.17.2
HBase	2.6.3
JindoCache	6.8.2
Paimon	1-ali-6.2
Phoenix	5.2.1

EMR-5.19.x

Data de lançamento

Versão	Data
EMR-5.19.0	24 de abril de 2025

Atualizações

Service	Alterações
Trino	Corrigido um problema de disponibilidade de LDAP.
YARN	Otimizado o agendamento global para alocação de recursos mais eficiente. Adicionado monitoramento de métricas para services HTTP. Corrigido um bug de código aberto (YARN-10213).
HBase	Atualizado para 2.6.3. Alterado o ambiente de execução padrão para Java 11. Definido o coletor de lixo G1 como padrão.
Phoenix	Atualizado para 5.2.1.
JindoCache	Atualizado para 6.8.2.
StarRocks	Habilitada a criação de clusters com separação de computação e armazenamento.
EMRHOOK	Adicionado suporte para Spark 3.5. Habilitado o rastreamento de linhagem de dados para tabelas Paimon. Estabilidade aprimorada.

Versões dos componentes

Cluster DataLake

Service	Versão
Hadoop-Common	3.2.1
HDFS	3.2.1
OSS-HDFS	1.0.0
Hive	3.1.3
Spark2	2.4.8
Spark3	3.5.3
Tez	0.10.2
Trino	422
Hudi	0.15.0
Iceberg	1.5.0
Flume	1.11.0
Kyuubi	1.9.2
YARN	3.2.1
OpenLDAP	2.4.46
Ranger	2.3.0
Ranger-plugin	1.0.0
DLF-Auth	2.0.2
Presto	0.283
ZooKeeper	3.8.4
Sqoop	1.4.7
Knox	1.5.0
Celeborn	0.5.2
JindoCache	6.8.2
Paimon	1-ali-6.2

Cluster OLAP

Service	Versão
StarRocks2	2.5.22
StarRocks3	3.2.11
Doris	2.1.4
ClickHouse	23.3.13.6
ZooKeeper	3.8.4

Cluster DataFlow

Service	Versão
Hadoop-Common	3.2.1
HDFS	3.2.1
OSS-HDFS	1.0.0
YARN	3.2.1
OpenLDAP	2.4.46
ZooKeeper	3.8.4
Knox	1.5.0
Flink	1.17.2
Paimon	1-ali-6.2

Cluster DataServing

Service	Versão
Hadoop-Common	3.2.1
HDFS	3.2.1
OSS-HDFS	1.0.0
OpenLDAP	2.4.46
Ranger	2.3.0
Ranger-plugin	1.0.0
ZooKeeper	3.8.4
Knox	1.5.0
HBase	2.6.3
JindoCache	6.8.2
Phoenix	5.2.1

Cluster personalizado

Service	Versão
Hadoop-Common	3.2.1
HDFS	3.2.1
OSS-HDFS	1.0.0
Hive	3.1.3
Spark2	2.4.8
Spark3	3.5.3
Tez	0.10.2
Trino	422
Hudi	0.15.0
Iceberg	1.5.0
Flume	1.11.0
Kyuubi	1.9.2
YARN	3.2.1
OpenLDAP	2.4.46
Ranger	2.3.0
Ranger-plugin	1.0.0
DLF-Auth	2.0.2
Presto	0.283
StarRocks2	2.5.22
StarRocks3	3.2.11
ZooKeeper	3.8.4
Sqoop	1.4.7
Knox	1.5.0
Celeborn	0.5.2
Flink	1.17.2
HBase	2.6.3
JindoCache	6.8.2
Paimon	1-ali-6.2
Phoenix	5.2.1

EMR-5.18.x

Data de lançamento

Versão	Data
EMR-5.18.1	18 de dezembro de 2024
EMR-5.18.0 (Não disponível para compra)	4 de dezembro de 2024

Atualizações

Service	Descrição
Spark 3	Atualizado para 3.5.3. Corrigido um problema de configuração que ocorre durante o scale-out.
Trino	Corrigidas falhas de conexão que ocorrem após a ativação do LDAP.
Presto
ZooKeeper	Adicionado suporte para configuração personalizada.
Ranger	Substituído o plugin existente do Spark 3 Ranger pelo do projeto de código aberto Kyuubi.
Hudi	Atualizado para 0.15.0.
Celeborn	Atualizado para 0.5.2.
Paimon	Atualizado para 1.0-ali-1.
JindoCache	Atualizado para 6.5.3.
StarRocks 3	Atualizado para 3.2.11.
StarRocks 2	Atualizado para 2.5.22.
Impala	Estes services não estão mais disponíveis. Use uma alternativa recomendada ou instale o service manualmente. Para Impala, use Presto, Trino, ClickHouse ou StarRocks.
Kudu
Kafka
Kafka-Manager

EMR-5.17.x

Data de lançamento

Versão	Data de lançamento
EMR-5.17.4	18 de dezembro de 2024
EMR-5.17.3 (Não disponível para novas compras)	29 de novembro de 2024
EMR-5.17.2 (Não disponível para novas compras)	29 de agosto de 2024
EMR-5.17.1 (Não disponível para novas compras)	21 de junho de 2024
EMR-5.17.0 (Não disponível para novas compras)	23 de abril de 2024

Atualizações

EMR-5.17.4

Service	Alterações
JindoCache	Atualizado para a versão 6.5.3.
StarRocks 2	Atualizado para a versão 2.5.22.
StarRocks 3	Atualizado para a versão 3.2.11.

EMR-5.17.3

Service	Alterações
JindoSDK	Atualizado o JindoSDK para corrigir um deadlock.

EMR-5.17.2

Service	Alterações
JindoCache	Atualizado para a versão 6.5.1. Melhorado o desempenho de leitura e gravação da tabela hash distribuída (DHT).
Spark	Resolvido um problema em que os diretórios de partição não podiam ser excluídos. Resolvido um problema de dependência de pacote do Hive para evitar que operações do cliente interrompam a conexão do cliente metastore.
Trino	Resolvido um problema que fazia com que configurações modificadas fossem revertidas durante um scale-out. Adicionado suporte para consulta de dados no OSS-HDFS de alta segurança. Resolvida uma exceção de service causada pela ativação do DLF-Auth.
Presto	Adicionado suporte para consulta de dados no OSS-HDFS de alta segurança.
HDFS	Resolvido um problema que impedia a modificação de memória do NameNode e DataNode.
HBase-HDFS
YARN	O ResourceManager agora suporta o envio de eventos de linha do tempo em lotes, melhorando a capacidade de processamento. Resolvido um problema de lógica no processamento de contêineres e recursos do ResourceManager.
ZooKeeper	Resolvido um problema que impedia a modificação de configurações de memória para um grupo de nós. Adicionado suporte para reestruturação de arquivos de configuração de log.
Impala	Resolvido um problema em que o auto scaling modificava incorretamente as configurações do cliente.
Ranger	Adicionado suporte para o novo kernel do JindoSDK, que reduz significativamente o uso de CPU.
Knox	Resolvido um problema em que a URL do componente ficava inacessível quando existia apenas um grupo de nós Master-Extend.
Kafka	Resolvido um problema que impedia a inicialização de clusters Kafka Connect.
StarRocks	Resolvido um problema em que BEs recém-adicionados não apareciam após um scale-out.
Doris	Atualizado para a versão 2.1.4.
Paimon	Atualizado para a versão 0.9-ali-7.
EMR-HOOK	Adicionado suporte para análise de linhagem de dados de tabelas MaxCompute.

EMR-5.17.1

Service	Alterações
Spark	Adicionado suporte para implantação de grupos de nós Master-Extend.
Hive
Kyuubi
Paimon	Substituída a dependência do Flink na edição VVR pela edição da comunidade e adicionado suporte para DLF Catalog.
Knox	Empacotado com JDK 8.
Flink	Restauradas as configurações e dependências do DLF removidas no EMR-5.17.0.

EMR-5.17.0

Service	Alterações
Spark	Atualizado o Spark 3 para a versão 3.4.2.
Celeborn	Atualizado para a versão 0.4.0.
Doris	Atualizado para a versão 2.1.0.
StarRocks	Atualizado o StarRocks 2 para a versão 2.5.18. Atualizado o StarRocks 3 para a versão 3.2.4.
Delta Lake	Atualizado para a versão 3.0.0.
Iceberg	Atualizado para a versão 1.5.0.
ZooKeeper	Atualizado para a versão 3.8.4.
JindoCache	Atualizado para a versão 6.2.5.
Flink	Atualizado para a versão 1.17.2.

EMR-5.16.x

Data de lançamento

Versão	Data
EMR-5.16.0	19 de fevereiro de 2024

Atualizações

Service	Atualização
Hudi	Atualizado para a versão 0.14.0.
Flume	Atualizado para a versão 1.11.0.
Kyuubi	Atualizado para a versão 1.7.3.
Impala	Atualizado para a versão 4.3.0.
Celeborn	Atualizado para a versão 0.3.2.
JindoCache	Atualizado para a versão 6.2.0.
Paimon	Atualizado para a versão 0.7-ali-1.
Kafka	Atualizado para a versão 3.6.1.
StarRocks	Atualizado o StarRocks2 para a versão 2.5.13. Atualizado o StarRocks3 para a versão 3.1.5.
Spark	Corrigida uma vulnerabilidade no Commons Text.
Ranger	Vulnerabilidades na biblioteca Commons Text foram corrigidas. A vulnerabilidade de bypass de permissão de correspondência de caminho no framework Spring Security foi corrigida. A vulnerabilidade de bypass de autenticação forward/include no framework Spring Security foi corrigida. A vulnerabilidade de bypass de autenticação de identidade em um modo de correspondência especial no Spring Framework foi corrigida. O intervalo em que o Ranger obtém informações do usuário do servidor Lightweight Directory Access Protocol (LDAP) e atualiza as informações do usuário pode ser modificado.

EMR-5.15.x

Data de lançamento

Versão	Data
EMR-5.15.1	16 de novembro de 2023
EMR-5.15.0 (Não disponível para compra)	27 de outubro de 2023

Atualizações

Service	Descrição
JindoCache	Adicionado o service JindoCache, versão 6.1.1.
JindoData	O JindoData não está mais disponível. Você pode usar o service JindoCache para cache e o DLF-Auth para autenticação.
Spark	Removidas as configurações relacionadas a `jdo` do hive-site.xml.
HBase	Adicionada uma opção para selecionar a versão do HBase Thrift Server (v1 ou v2).
StarRocks	Atualizado o StarRocks para a versão 2.5.10.
Doris	Atualizado o Doris para a versão 1.2.7.
Celeborn	Atualizado o Celeborn para a versão 0.3.1.
Paimon	Atualizado o Paimon para a versão 0.6-ali-2.
ClickHouse	Atualizado o ClickHouse para a versão 23.3.13.6.

EMR-5.14.x

Data de lançamento

Versão	Data
EMR-5.14.2	17 de agosto de 2023

Atualizações

Service	Alterações
Trino	Corrigido um problema que impedia o conector Paimon de consultar tabelas HDFS. Corrigido um problema em que as métricas dos nós de trabalho não podiam ser lidas.
Presto	Atualizado para a versão 0.283. Corrigido um problema em que as métricas dos nós de trabalho não podiam ser lidas.
ClickHouse	O usuário padrão agora recebe todas as permissões por padrão.
StarRocks	Renomeado o service StarRocks anterior para StarRocks2. Adicionado o StarRocks3 (versão 3.1.2), que usa uma arquitetura de integração de computação e armazenamento por padrão. A arquitetura de separação de computação e armazenamento ainda não é suportada.
Celeborn	Atualizado para a versão 0.3.0.

EMR-5.13.x

Data de lançamento

Versão	Data de lançamento
EMR-5.13.0	3 de agosto de 2023

Atualizações

Service	Descrição
Hudi	Atualizado para 0.13.1.
Paimon	Atualizado para 0.5-ali-1.
StarRocks	Atualizado para 2.5.8.
JindoData	Atualizado para 4.6.11.
Trino	Atualizado para 422. O conector Hudi agora suporta a consulta de tabelas Merge on Read (MOR). Melhoradas as mensagens de erro para carregamento dinâmico de funções definidas pelo usuário (UDFs).

EMR-5.12.x

Data de lançamento

Versão	Data
EMR-5.12.1	13 de julho de 2023
EMR-5.12.0 (Não disponível para compra)	1 de junho de 2023

Atualizações

EMR-5.12.1

Service	Descrição
Spark	O Spark History Server agora usa o OSS-HDFS para armazenamento por padrão. O Spark3 Native Engine agora suporta OSS e OSS-HDFS para armazenamento.
Hive	O warehouse do Hive agora usa o OSS-HDFS para armazenamento por padrão.
OSS-HDFS	Agora disponível como um novo service.
YARN	O YARN agora usa o OSS-HDFS para armazenamento por padrão.
HBase	O HBase agora usa o OSS-HDFS para armazenar dados HFile por padrão. O HBase agora suporta o armazenamento de logs write-ahead no OSS-HDFS.

EMR-5.12.0

Service	Descrição
Kyuubi	Atualizado para a versão 1.7.1.
Celeborn	Atualizado para a versão 0.2.2.
Paimon	O Flink Table Store foi renomeado para Paimon. Atualizado para a versão 0.4-ali-1.
StarRocks	Atualizado para a versão 2.5.5.
Doris	Atualizado para a versão 1.2.4.
ClickHouse	Atualizado para a versão 23.3.2.37.
Trino	O Trino agora inclui um event listener padrão para recuperação de logs de auditoria.
Phoenix	O Phoenix agora suporta Hive on Phoenix.

EMR-5.11.x

Data de lançamento

Versão	Data
EMR-5.11.1	3 de abril de 2023
EMR-5.11.0 (não disponível para compra)	28 de fevereiro de 2023

Atualizações

EMR-5.11.1

Service	Alterações
ClickHouse	Atualizado para a versão 22.8.14.53.
Trino	Adicionado o conector odps.properties para consultar o MaxCompute.
JindoData	Atualizado para a versão 4.6.5.
JindoSDK	Atualizado para a versão 4.6.5.
Flink Table Store	Atualizado para a versão 0.3-ali-2.
YARN	Adicionado suporte para node labels.

EMR-5.11.0

Service	Alterações
Iceberg	Atualizado para a versão 1.1.0.
Hudi	Atualizado para a versão 0.12.2. Adicionado suporte para Change Data Capture (CDC).
Delta Lake	Atualizado para a versão 2.2.0. Agora registra operações vacuum no log de transações.
Kudu	Atualizado para a versão 1.16.0.
ClickHouse	A instalação do ClickHouse agora requer o service ZooKeeper.
Celeborn	O Remote Shuffle Service (RSS) foi renomeado para Celeborn. A versão inicial é 0.2.0.
Presto	Adicionado o Presto como um novo service. Seu kernel é baseado no Facebook PrestoDB 0.278.3 da comunidade. As portas padrão são 8889 (HTTP) e 7779 (HTTPS).
StarRocks	Atualizado para a versão 2.5.1.
Doris	Atualizado para a versão 1.2.1.
Kafka Manager	Atualizado para a versão 3.0.0.6.
Impala	Atualizado para a versão 4.2.0.
OpenLDAP	Atualizado para a versão 2.4.46.
HBase	Adicionado suporte para JDK 11. Adicionado suporte para ThriftServer 2. O valor padrão para o parâmetro hbase.block.data.cachecompressed agora é true.
Flink Table Store	Adicionado o Flink Table Store como um novo service, baseado na versão 0.3 da comunidade.
JindoData	Atualizado para a versão 4.6.4.

EMR-5.10.x

Data de lançamento

EMR-5.10.0: 1 de dezembro de 2022

Atualizações

Service	Descrição
Iceberg	Atualizado para a versão 0.14.1.
Flink	Atualizado para Flink 1.15-vvr-6.0.2, baseado na versão principal Apache Flink 1.15.
Kafka	Suporta autenticação e autorização LDAP. Suporta autorização de grupo de usuários.
Trino	O componente EMR Presto foi renomeado para Trino para se alinhar com o nome oficial da comunidade. Suporta Ranger e DLF-Auth. Corrigido um problema em que as conexões com nós de trabalho falhavam após a ativação do LDAP.
JindoSDK	Atualizado para a versão 4.6.2.
JindoData	Atualizado para a versão 4.6.2.
HBase	Suporta Ranger. Corrigido um problema em que o OSS-HDFS não podia ser selecionado como modo de armazenamento ao adicionar um service.
YARN	A Access Control List (ACL) é ativada por padrão no modo de segurança.
StarRocks	Atualizado para a versão 2.4.1.
Doris	Atualizado para a versão 1.1.5.
Hudi	Agora você pode configurar o hudi-defaults.conf no console.
Ranger	Atualizado para a versão 2.3.0. Suporta integração com Trino, YARN, HBase e Kafka.
DLF-Auth	Atualizado para a versão 2.0.2. Suporta Trino e Impala.
OpenLDAP	Agora integrado com o componente Nslcd.
Kudu	Você não pode mais instalar o Kudu Tserver em grupos de nós de tarefa.
Spark	Atualizado para a versão 3.3.1.
Tez	Atualizado para a versão 0.10.2.
Kyuubi	Atualizado para a versão 1.6.0.

EMR-5.9.x

Data de lançamento

Versão	Data
EMR-5.9.1	8 de novembro de 2022
EMR-5.9.0 (Não disponível para novas compras)	14 de outubro de 2022

Atualizações

EMR-5.9.1

Service	Alterações
Kerberos	Suporta conexão com um KDC externo.
Kafka	Adiciona uma opção de configuração para personalizar parâmetros de inicialização do service.
JindoData	Atualizado para a versão 4.6.0. Suporta reescrita de caminhos de acesso do OSS-HDFS.
Flink	Atualizado para a versão 1.13_vvr_4.0.15.
RSS	Atualizado para a versão 0.1.4.

EMR-5.9.0

Service	Alterações
Spark	Atualizado para a versão 3.3. Suporta autenticação Kerberos.
Hudi	Atualizado para a versão 0.12.0. Suporta Spark 3.3. Permite usar um metastore baseado em cloud para hospedar metadados e ative o recurso de aceleração. Para mais informações, consulte {{XREF_1}}.
Flink	Suporta autenticação Kerberos. Suporta conexão automática com o Data Lake Formation (DLF).
Iceberg	Atualizado para a versão 0.14.0. Suporta Spark 3.3. Suporta autenticação Kerberos.
JindoData	Atualizado para a versão 4.5.1. Suporta acesso a recursos Alibaba Cloud sem usar um par AccessKey.
Hadoop Common e HDFS	Suporta autenticação Kerberos. Resolve a vulnerabilidade CVE-2022-25168.
Knox	Integra-se com o Ranger, permitindo o acesso à UI do Ranger na aba Access Links and Ports.
HBase	Atualizado para a versão 2.4.9. Suporta autenticação Kerberos. Suporta configuração de grupo de nós.
RSS	Atualizado para a versão 0.1.2. Suporta autenticação Kerberos.
Doris	Atualizado para a versão 1.1.2. Suporta autenticação Kerberos.
StarRocks	Atualizado para a versão 2.3.2. Suporta autenticação Kerberos.
Kafka	Atualizado para a versão 2.13_3.2.1. Suporta autenticação Kerberos.
Delta Lake	Agora você pode atualizar para a versão 2.1.0. Suporta Spark 3.3. Suporta autenticação Kerberos.
Impala	Suporta a criação de views no Data Lake Formation (DLF). Suporta autenticação Kerberos.
Kudu	Adicionado como um novo componente (versão 1.14.0).
YARN, Ranger, Hive, Kyuubi, Tez, ZooKeeper, DLF-Auth, Phoenix, Sqoop e Presto	Suporta autenticação Kerberos.

EMR-5.8.x

Data de lançamento

EMR-5.8.0: 5 de agosto de 2022

Atualizações

Service	Alterações
Spark	Suporta autenticação LDAP.
Hive	Suporta autenticação LDAP.
Presto	Atualizado para a versão 389 da comunidade. Usa conectores independentes do Delta Lake e Hudi da comunidade. O conector Delta Lake não suporta time travel ou Z-Order. O conector Hudi não suporta consulta de tabelas MOR. Suporta autenticação LDAP.
Delta Lake	Integra-se com o Data Lake Formation (DLF) para gerenciamento automatizado de tabelas de data lake. Corrige um problema com a sincronização automática de informações de partição em cenários CTAS. Os comandos OPTIMIZE e VACUUM agora retornam métricas.
Hudi	Atualizado para a versão 0.11.1.
Hadoop Common	Adicionado o componente Hadoop Common para resolver problemas de substituição de configuração entre HDFS, YARN e JindoSDK.
YARN	Auto scaling aprimorado.
Ranger	Suporta Spark 2 e Spark 3. Suporta autenticação LDAP para Ranger UserSync.
Kafka	Introduz o Kafka 2.12-2.4.1 como um novo componente.
HBase	Introduz o HBase 2.3.4 como um novo componente.
Phoenix	Introduz o Phoenix 5.1.2 como um novo componente.
Doris	Atualizado para a versão 1.1.1.
StarRocks	Atualizado para a versão 2.3.0. O modelo de chave primária suporta a sintaxe completa `DELETE WHERE`, índices de chave primária persistentes para reduzir o uso de memória e mais.
ClickHouse	Atualizado para a versão 22.3.8.39. Corrige um erro de out-of-memory (OOM) ao ler arquivos grandes do Object Storage Service.

EMR-5.6.x

Data de lançamento

EMR-5.6.0: 21 de abril de 2022

Atualizações

Service	Alterações
JindoData	Novo componente: 4.3.0.
JindoSDK	Atualizado para a versão 4.3.0.
Spark	Atualizado para a versão 3.2.1.
Hive	Resolvido um problema em que commits duplicados ocorriam no Hive on Tez quando a execução especulativa estava ativada.
Presto	Resolvido um problema que impedia a inicialização do service Presto após ser adicionado a um cluster Hadoop inicializado.
Delta Lake	Instruções DML agora suportam subconsultas.
Hudi	Atualizado para a versão 0.10.1.
Iceberg	Atualizado para a versão 0.13.1.
YARN	Adicionada uma configuração para restringir os ApplicationMasters para que execute apenas em nós principais.
HBase	Corrigido um bug no kernel do HBase 2.3.4.
ZooKeeper	Parâmetros JVM otimizados.
Impala	Adicionado suporte para JindoSDK 4.3.0.
Sqoop	PostgreSQL atualizado.
Zeppelin	Resolvido um problema que fazia com que o interpretador JDBC falhasse na inicialização.
Ranger	O plugin Ranger 1.2.0 Spark agora suporta Delta Lake e Hudi.
Flume	Adicionado suporte para JindoSDK 4.3.0.
Oozie	Log4j atualizado para a versão 2.17.2.
DLF-Auth	Atualizado para a versão 2.0.0.

EMR-5.5.x

Data de lançamento

Versão	Data
EMR-5.5.1	25 de março de 2022
EMR-5.5.0 (não disponível para novas compras)	15 de fevereiro de 2022

Atualizações

EMR-5.5.1

Nota

Esta versão é suportada apenas para clusters OLAP no novo console.

Service	Atualizações
ClickHouse	Valores de parâmetros padrão atualizados.
StarRocks	Atualizado para a versão 2.1.1.

EMR-5.5.0

Service	Atualizações
SmartData	Descontinuado.
Bigboot	Descontinuado.
RSS	Atualizado o EMR Remote Shuffle Service (ESS) para RSS. Funcionalidade e estabilidade aprimoradas.
JindoSDK	Atualizada a arquitetura para JindoData. Integrado o JindoSDK 4.0, adicionando suporte para OSS e o service Alibaba Cloud OSS-HDFS.
Spark	Adicionado suporte para expressões IF em COUNT DISTINCT e otimizado o uso de CASE WHEN. Defina o parâmetro spark.sql.optimizer.rewriteConditionalDistinctAggregates como true. Habilitado o fallback de Shuffle Hash Join para Sort Merge Join. Defina o parâmetro spark.sql.join.preferSortMergeJoin como false e o parâmetro spark.sql.join.enableShuffledHashJoinFallback como true. Habilitada a mesclagem automática de arquivos pequenos para partições não dinâmicas. Defina o parâmetro spark.sql.adaptive.merge.output.small.files.enabled como true. Ajusta automaticamente a concorrência para cenários como GROUPING SETS e DISTINCT. Defina o parâmetro spark.sql.execution.optimizeExpand como true. Otimizado o Hive on Spark. Adicionado suporte para sintaxe time travel. Adicionado suporte para JindoSDK.
Tez	Adicionado suporte para JindoSDK.
Hive	Corrigido um problema de exclusão em lote no Hive Jindo. Corrigido um problema de out-of-memory (OOM) no HiveServer2. Otimizado o Hive on Spark. Adicionado suporte para JindoSDK.
Presto	Atualizado o Presto para a versão 358 da comunidade. Adicionados conectores MySQL, Iceberg, Hudi, Phoenix, Kudu e Delta por padrão e atualizadas suas configurações padrão. Adicionado suporte para análise de data lake. Adicionado suporte para carregamento dinâmico de UDFs. Adicionado suporte para JindoSDK.
Delta Lake	Atualização de versão Atualizado para a versão 1.1.0, que é compatível com Spark 3.2.0. Migrados todos os recursos comerciais para a versão 1.1.0. Gerenciamento de metadados Otimizada a sincronização de modificações de metadados para o metastore. Relata automaticamente estatísticas de tabela (data profiling) para o metastore. SQL Adicionado suporte para sintaxe time travel. Adicionado suporte para a sintaxe SQL DROP PARTITION. Adicionado suporte para sobrescrita de partições dinâmicas com SQL. Adicionado suporte para operações ADD COLUMN em posições especificadas (FIRST e AFTER). Recursos aprimorados de gerenciamento de tabelas Habilitado o ajuste dinâmico de tamanho de arquivo com base no tamanho da tabela. Este recurso é ativado por padrão. Habilitado o vacuum automático e simultâneo. O vacuum automático é ativado por padrão. Otimizada a lógica de compactação automática. Este recurso é desativado por padrão. Introduzida a sintaxe Z-order e acelerado o processo de Z-ordering.
Hudi	Atualizado para a versão 0.10.0. Adicionado suporte para Spark 3.2.0. Adicionado suporte para o modo de bloco JindoFS.
HDFS	Adicionado suporte para JindoSDK.
YARN	Adicionado suporte para configurações de memória RSS. Adicionado suporte para JindoSDK.
Flume	Adicionado suporte para JindoSDK.
Impala	Adicionado suporte para JindoSDK.
Ranger	Adicionado suporte para Spark 3.2.0. Adicionado suporte para Presto 358.
HBase	Corrigidos parâmetros padrão incorretos. Corrigido um problema com o formato de data nos logs de garbage collection (GC).
ClickHouse	Adicionados tipos de disco HDFS e OSS para suportar tiering de dados. Para mais informações, consulte {{XREF_2}} e {{XREF_3}}. Engines da família Replicated*MergeTree agora suportam operações zero-copy para tipos de disco OSS, HDFS e S3. Otimizado o processo de desligamento do componente ClickHouse.
Iceberg	Atualizado para a versão 0.13.0. Adicionado suporte para Presto 358.
DLF-Auth	Adicionado suporte para Spark 3.2.0. Adicionado suporte para Presto 358.

EMR-5.4.x

Data de lançamento

Versão	Data
EMR-5.4.3	Dezembro de 2021
EMR-5.4.2 (Não disponível para novas compras)	Dezembro de 2021
EMR-5.4.1 (Não disponível para novas compras)	Novembro de 2021
EMR-5.4.0 (Não disponível para novas compras)	Outubro de 2021

Atualizações

EMR-5.4.3

Esta versão corrige a vulnerabilidade de segurança do Log4j em todos os componentes relacionados. Para mais informações, consulte {{XREF_4}}.

Service	Alterações
Presto	Corrigida a vulnerabilidade do Log4j no conector Elasticsearch.
DLF Metastore	Desativado o log do metastore por padrão. Corrigido um erro causado por uma URI getTableStats excessivamente longa.
Delta Lake	Corrigido um problema em que as alterações de schema falhavam ao sincronizar com o metastore.
Sqoop	Corrigido um problema de perda de precisão com o tipo de dados DECIMAL ao importar dados para tabelas HCatalog.

EMR-5.4.2

Service	Alterações
SmartData	O SmartData foi atualizado para 3.8.0. Para mais informações, consulte {{XREF_5}}. A autenticação e autorização baseadas em Kerberos e Ranger podem ser usadas para gerenciar permissões de dados no OSS.

EMR-5.4.1

Service	Alterações
SmartData	Atualizado o SmartData para a versão 3.7.3. Para mais informações, consulte {{XREF_6}}.
Oozie	Corrigido um problema que impedia a inicialização do Oozie Jetty Server em ambientes de alta disponibilidade (HA) devido a conflitos de JARs de dependência.
Impala	Corrigido um `no such method error` que ocorria ao consultar tabelas de metadados DLF.
DLF-Auth	Atualizado o DLF-Auth para a versão 1.0.1.

EMR-5.4.0

Service	Alterações
SmartData	Atualizado o SmartData para a versão 3.7.2. Para mais informações, consulte {{XREF_7}}.
Spark	Atualizado o Spark para a versão 3.1.2. No Spark 3.x, o desempenho de computação Distinct é otimizado para Spark SQL. O recurso de otimização é acionado se um operador de agregação contiver múltiplos métodos `count(distinct case ... when ...)`. O erro de array-index out of bounds que é retornado quando algumas estatísticas necessárias para Adaptive Query Execution (AQE) estão ausentes foi corrigido. Erros relacionados ao AQE e cache de dados em cenários específicos foram corrigidos.
Hive	O Hive on JindoFS (Block) suporta otimização de metadados em lote. Este recurso é desativado por padrão.
Presto	Adicionado suporte para consulta de tabelas Delta Lake usando um storage handler.
Delta Lake	Atualizado o Delta Lake para a versão 1.0.0. Unificados os delta-connectors para Hive 2 e Hive 3. Corrigido um erro nos delta-connectors ao consultar tabelas particionadas em vários níveis. Adicionado suporte SQL para recursos como Data Skipping, OPTIMIZE e Z-Ordering. Adicionado suporte para sincronização de metadados com um metastore.
Hudi	O Hudi foi atualizado para 0.9.0. O problema de compatibilidade do sql.extension entre Delta Lake e Hudi foi corrigido. Nota Suporta Spark 3.1.2.
HDFS	O espaço reservado padrão para um NameNode agora aumenta de forma adaptativa para garantir que o NameNode entre no modo de segurança prontamente quando o espaço em disco estiver baixo.
Storm	Descontinuado o componente Storm.
Zeppelin	Atualizado o Zeppelin para a versão 0.10.0 da comunidade.
Hue	Corrigido um problema que ocasionalmente impedia o YARN Job Browser de exibir ou encerrar jobs. Ativado o YARN Job Browser na configuração padrão. Ativado o protocolo Presto na configuração padrão.
Druid	O seguinte problema foi corrigido: Após um servidor ser desligado inesperadamente, o nó relacionado falha ao reiniciar porque um arquivo PID não é excluído.
ClickHouse	Atualizada a configuração padrão. Adicionado suporte para scale-out de cluster. Adicionado suporte para o recurso MetaChecker. Adicionado suporte para leitura de dados usando a table engine OSS e a table function OSS.
Iceberg	Atualizado o Iceberg para a versão 0.12.0-1.0.1. Corrigidos erros de dependência de runtime do Hive.
Knox	O problema em que o primeiro acesso à UI do Spark falha foi corrigido.
DLF-Auth	O service foi adicionado. As permissões de uso do Hive ou Spark para acessar o DLF podem ser configuradas. A versão do service é 1.0.0.

EMR-5.3.x

Data de lançamento

Versão	Data
EMR-5.3.1	Setembro de 2021
EMR-5.3.0 (não disponível para novas compras)	Agosto de 2021

Atualizações

EMR-5.3.1

Service	Alterações
SmartData	Atualizado o SmartData para a versão 3.7.1.
Hue	Corrigido um problema que impedia o uso do Impala em clusters de alta segurança.
Kudu	Adicionado suporte para Kerberos.
HBase	Corrigido um problema que causava tempos de reinicialização excessivos para o HBase em clusters de alta segurança. Resolvida uma falha de integração com o Spark 3.1.1. Otimizado o processo de parada graceful.

EMR-5.3.0

Service	Alterações
SmartData	Atualizado o SmartData para a versão 3.7.0.
Spark	Corrigido um problema de compatibilidade com o Delta Lake.
Hive	O Hive on JindoFS (Block Storage Mode) suporta otimização de metadados em lote. Este recurso é desativado por padrão.
Delta Lake	Adicionado suporte para particionamento Delta Lake. Corrigido um problema de compatibilidade entre o comando `desc detail` e o Spark 3.1.1.
YARN	Adicionadas informações de uso de recursos appId, CPU e memória à API REST de contêineres de nós. Corrigido um problema que tornava os logs do Application Master (AM) inacessíveis em nós liberados pelo auto scaling. Corrigido um problema em que dados históricos no State Store causavam indisponibilidade do cluster. Adicionado suporte para limpeza de nós liberados durante um decommission de auto scaling. Melhorada a lógica de decommission graceful para auto scaling. Um decommission agora é marcado como concluído apenas após o processo NodeManager (NM) encerrar.
ZooKeeper	Atualizado o ZooKeeper para a versão 3.6.3 da comunidade.
Flink	Adicionado o componente SmartData ao Flink. Corrigido um problema com acesso sem senha ao Object Storage Service (OSS) para jobs enviados a um cluster Dataflow Flink via SSH.
Impala	Corrigido um loop infinito causado pela exclusão direta de um diretório de partição do Object Storage Service (OSS).
Hue	Corrigidos problemas de exibição de UI na integração Hue e Oozie.
Kudu	Atualizado o Kudu para a versão 1.14.0 da comunidade.
ClickHouse	Adicionado o componente ClickHouse, versão 21.3.13.9.
Iceberg	Adicionado o componente Iceberg, versão 0.12.0.

EMR-5.2.x

Data de lançamento

EMR-5.2.1: 16 de julho de 2021

Atualizações

Service	Atualização
SmartData	Atualizado o SmartData para a versão 3.6.1. Para mais informações, consulte {{XREF_8}}.
Hive	Corrigido um problema em que o comando `show create table` retornava resultados incorretos ao usar metadados DLF. Otimizados os parâmetros padrão do Hive para melhorar o desempenho dos jobs. Nomes de itens de configuração capitalizados na aba hive-env da página Configure do service Hive no console EMR para melhorar a usabilidade. Corrigido um vazamento de memória no HiveServer2 causado por UDFs (user-defined function). Melhorada a mensagem de erro para operações de gravação em uma tabela Hive quando o sistema de arquivos e o metastore estão inconsistentes.
HDFS	Adiciona suporte para o formato de compressão Zstandard.
Delta Lake	Atualizado o Delta Lake para a versão 0.8.0. Adiciona suporte para Spark 3.
Flink	Atualizado o Flink para a versão 1.12-vvr-3.0.2.
Hudi	Atualizado o Hudi para a versão 0.8.0. Adiciona suporte para integração com Spark SQL.
Spark	Importante No EMR-5.2.1, o Spark (3.1.1) é incompatível com o Kudu (1.11.1). Adiciona suporte para os formatos de data lake Delta Lake e Hudi. Adiciona suporte para Remote Shuffle Service. Adiciona suporte para Livy.