E-MapReduce:EMR-3.x series releases

Versão

Data

EMR-3.55.0

27 de outubro de 2025

Service

Alteração

Ranger

• O Jindoauth Server agora permite que usuários clientes usem funções personalizadas do RAM para acessar o OSS.

• Correção de dependências ausentes no plugin do Ranger YARN.

Paimon

Atualizado para 1-ali-16.3.

JindoCache

Atualizado para 6.10.1.

Versão

Data

EMR-3.54.0

10 de julho de 2025

Service

Alterações

Hive

Correção de problemas conhecidos.

Tez

Incorpora correções de bugs da comunidade para melhorar o desempenho e a estabilidade.

Versão

Data

EMR-3.53.0

24 de abril de 2025

Service

Alteração

Trino

Correção de um problema de disponibilidade do LDAP.

YARN

Correção de defeitos de código aberto (YARN-10213, YARN-6207 e YARN-9339).

StarRocks

Adição de suporte para clusters com separação de armazenamento e computação.

JindoCache

Atualizado para 6.8.2.

EMRHOOK

Melhoria na estabilidade.

Versão

Data

EMR-3.52.1

18 de dezembro de 2024

EMR-3.52.0 (Não disponível para novas compras)

4 de dezembro de 2024

Service

Alterações

Spark

• Correção de problemas de configuração encontrados durante o scale-out.

• Correção de falhas intermitentes de conexão SASL em clusters Kerberos.

Hive

Correção de problemas de configuração encontrados durante o scale-out.

Trino

Correção de um problema que impedia conexões após ativar o LDAP.

Presto

ZooKeeper

Adição de suporte para configuração personalizada.

Ranger

Substituição do plugin do Ranger para Spark 3 pelo plugin do projeto de código aberto Kyuubi.

Hudi

Atualizado para 0.15.0.

Celeborn

Atualizado para 0.5.2.

JindoCache

Atualizado para 6.5.3.

StarRocks 3

Atualizado para 3.2.11.

Kyuubi

Atualizado para 1.9.2.

StarRocks 2

Atualizado para 2.5.22.

Impala

Kudu

Kafka

Kafka-Manager

Versão

Data de lançamento

EMR-3.51.4

18 de dezembro de 2024

EMR-3.51.3 (Não mais disponível para novas compras)

29 de novembro de 2024

EMR-3.51.2 (Não mais disponível para novas compras)

29 de agosto de 2024

EMR-3.51.1 (Não mais disponível para novas compras)

21 de junho de 2024

EMR-3.51.0 (Não mais disponível para novas compras)

23 de abril de 2024

Versão

Data

EMR-3.50.0

19 de fevereiro de 2024

Service

Alterações

Hudi

Atualizado para a versão 0.14.0.

Flume

Atualizado para a versão 1.11.0.

Kyuubi

Atualizado para a versão 1.7.3.

Impala

Atualizado para a versão 4.3.0.

Celeborn

Atualizado para a versão 0.3.2.

JindoCache

Atualizado para a versão 6.2.0.

Paimon

Atualizado para a versão 0.7-ali-1.

Kafka

• Atualizado para a versão 3.6.1.

• Correção de uma vulnerabilidade de autenticação SASL no Kafka Connect.

Spark

Correção de uma vulnerabilidade no Commons Text.

StarRocks

• Atualização do StarRocks 2 para a versão 2.5.13.

• Atualização do StarRocks 3 para a versão 3.1.5.

Ranger

• Correção de uma vulnerabilidade no Commons Text.

• Correção de uma vulnerabilidade de bypass de permissão de correspondência de caminho no Spring Security.

• Correção de uma vulnerabilidade de bypass de autenticação forward/include no Spring Security.

• Correção de uma vulnerabilidade de bypass de autenticação de correspondência de padrão especial no Spring Framework.

• O período de sincronização de usuários LDAP do Ranger agora é configurável.

Versão

Data

EMR-3.49.1

16 de novembro de 2023

EMR-3.49.0 (Não disponível para compra)

27 de outubro de 2023

Componente

Alteração

JindoCache

Adição do componente JindoCache, versão 6.1.1.

JindoData

O JindoData está indisponível. Você pode usar o JindoCache para cache de dados e o DLF-Auth para autenticação.

Spark

Remoção da configuração relacionada ao jdo do hive-site.xml.

HBase

Adição de uma opção de configuração para selecionar a versão do HBase Thrift Server (v1 ou v2).

StarRocks

Atualização do StarRocks para 2.5.10.

Doris

Atualização do Doris para 1.2.7.

Celeborn

Atualização do Celeborn para 0.3.1.

Paimon

Atualização do Paimon para 0.6-ali-2.

ClickHouse

Atualização do ClickHouse para 23.8.2.7.

Versão

Data

EMR-3.48.2

17 de agosto de 2023

Service

Descrição

Trino

• Correção de um problema em que o conector Paimon não conseguia consultar tabelas HDFS.

• Correção de um problema em que as métricas dos nós de trabalho não podiam ser lidas.

Presto

• Atualizado para a versão 0.283.

• Correção de um problema em que as métricas dos nós de trabalho não podiam ser lidas.

ClickHouse

O usuário padrão agora recebe todas as permissões.

StarRocks

• Renomeação do service StarRocks existente para StarRocks2.

• Adição do StarRocks3 (versão 3.1.2), que usa integração de computação e armazenamento por padrão. A separação de computação e armazenamento não é suportada.

Celeborn

Atualizado para a versão 0.3.0.

Versão

Data de lançamento

EMR-3.47.0

3 de agosto de 2023

Service

Descrição

Hudi

Atualizado para a versão 0.13.1.

Paimon

Atualizado para a versão 0.5-ali-1.

StarRocks

Atualizado para a versão 2.5.8.

JindoData

Atualizado para a versão 4.6.11.

Trino

• Atualizado para a versão 422.

• Adição de suporte para consulta de tabelas merge on read (MOR) com o conector Hudi.

• Melhoria nas mensagens de erro para carregamento dinâmico de UDF.

Versão

Data

EMR-3.46.1

13 de julho de 2023

EMR-3.46.0 (Não disponível para compra)

1 de junho de 2023

Versão

Data

EMR-3.45.1

3 de abril de 2023

EMR-3.45.0 (Não disponível para novas compras)

28 de fevereiro de 2023

Service

Alterações

Iceberg

Atualizado para a versão 0.14.1.

Flink

Atualizado para o Flink 1.15-vvr-6.0.2, que é baseado na versão principal do Apache Flink 1.15.

Kafka

• Adicionado suporte para autenticação e autorização de login de usuário usando LDAP.

• Adicionado suporte para autorização de grupo de usuários.

Trino

• O EMR Presto foi renomeado para Trino, seu nome oficial na comunidade.

• Adicionado suporte para Ranger e DLF-Auth.

• Corrigido um problema em que as conexões com nós de trabalho falhavam. Agora, ative o LDAP sem problemas.

JindoSDK

Atualizado para a versão 4.6.2.

JindoData

Atualizado para a versão 4.6.2.

HBase

• Adicionado suporte para o Ranger.

• Corrigido um problema que impedia a seleção do OSS-HDFS como modo de armazenamento ao adicionar o service.

YARN

O recurso Access Control List (ACL) agora vem ativado por padrão no modo de segurança.

StarRocks

Atualizado para a versão 2.3.4.

Doris

Atualizado para a versão 1.1.5.

Hudi

Adicionado suporte para configurar o hudi-defaults.conf no console.

Ranger

Adicionada integração com Trino, YARN, HBase e Kafka.

DLF-Auth

• Atualizado para a versão 2.0.2.

• Adicionado suporte para Trino e Impala.

OpenLDAP

Integrado com o componente Nslcd.

Kudu

Não instale o Kudu TServer em um grupo de nós de tarefa, pois isso não é mais suportado.

Spark

Atualizado para a versão 3.3.1.

Tez

Atualizado para a versão 0.10.2.

Kyuubi

Atualizado para a versão 1.6.0.

Versão

Data

EMR-3.43.1

8 de novembro de 2022

EMR-3.43.0 (Não disponível para novas compras)

14 de outubro de 2022

Service

Alterações

Hive

Adicionado suporte para integração com LDAP com um clique.

Presto

• Atualizado para a versão 389 da comunidade.

  Usa os conectores independentes da comunidade para Delta Lake e Hudi.

  • O conector do Delta Lake nesta versão não oferece suporte aos recursos Time Travel ou Z-Order.

  • O conector do Hudi não oferece suporte à consulta de tabelas MOR.

• Adicionado suporte para integração com LDAP com um clique.

Delta Lake

• Agora se integra ao Data Lake Formation para que você gerencie tabelas de lake automaticamente.

• Agora há suporte à autenticação do Ranger.

• Corrigido um problema que impedia a coleta de estatísticas para campos TIMESTAMP.

• Os comandos optimize e vacuum agora retornam métricas.

Hudi

Atualizado para a versão 0.11.1.

Hadoop Common

Adicionado o componente Hadoop Common para resolver conflitos de configuração entre HDFS, YARN e JindoSDK.

YARN

Auto Scaling aprimorado.

Ranger

• Agora há suporte para Spark 2 e Spark 3.

• Agora há suporte para integração com LDAP com um clique com o Ranger UserSync.

Kafka

O Cruise Control agora cria automaticamente os tópicos necessários na inicialização.

HBase

Adicionado o componente HBase, versão 1.4.9.

Phoenix

Adicionado o componente Phoenix, versão 4.14.1.

Doris

Atualizado para a versão 1.1.1.

StarRocks

Atualizado para a versão 2.2.3.

ClickHouse

Corrigido um erro de falta de memória (OOM) ao ler arquivos grandes do Object Storage Service.

Componente

Descrição

JindoData

Adicionado como um novo componente na versão 4.3.0.

JindoSDK

Atualizado para 4.3.0.

Spark

Atualizado para 3.2.1.

Hive

• Corrigido um problema que causava commits duplicados no Tez quando a execução especulativa estava ativada.

• Corrigido um problema em que uma UDF precisava ser recarregada antes de ser chamada.

Presto

Corrigido um problema em que o service Presto falhava ao iniciar quando adicionado a um cluster Hadoop inicializado.

Delta Lake

Corrigido um problema de compatibilidade com Streaming SQL.

Hudi

Atualizado para 0.10.1.

Iceberg

Atualizado para 0.13.1.

YARN

• Adicionada uma opção de configuração para restringir Application Masters (AMs) a nós principais.

• Corrigido um problema em que o taihaodoctor estava ausente na configuração mapreduce.map.java.opts.

ZooKeeper

Parâmetros da JVM otimizados.

Flink

Adaptado para o JindoSDK 4.3.0.

Impala

Flume

Druid

Sqoop

Atualizada a versão do PostgreSQL.

Zeppelin

Corrigido um problema em que o interpretador JDBC falhava ao iniciar.

Ranger

O plugin Spark do Ranger 1.2.0 agora oferece suporte ao Hudi.

Oozie

Atualizado o Log4j para 2.17.2.

HBase

Corrigido um problema em que o RegionServer para HBase 1.4.9 falhava ao iniciar.

DLF-Auth

Atualizado para 2.0.0.

Versão

Data

EMR-3.39.2

25 de março de 2022

EMR-3.39.1 (Não disponível para compra)

15 de fevereiro de 2022

Versão

Data de lançamento

EMR-3.38.3

Dezembro de 2021

EMR-3.38.2 (Não disponível para compra)

Dezembro de 2021

EMR-3.38.1 (Não disponível para compra)

Novembro de 2021

EMR-3.38.0 (Não disponível para compra)

Outubro de 2021

Versão

Data de lançamento

EMR-3.37.1

Setembro de 2021

EMR-3.37.0 (Não disponível para compra)

Agosto de 2021

Service

Alteração

SmartData

SmartData atualizado para a versão 3.6.1.

Para mais detalhes, consulte Introduction to SmartData 3.6.x.

Hive

• Hive atualizado para a versão 2.3.8.

• Correção de um problema em que o comando show create table retornava um resultado incorreto ao usar metadados do DLF (Data Lake Formation).

• Otimização dos parâmetros padrão do Hive para melhorar o desempenho dos jobs.

• Nomes de parâmetros em maiúsculas na aba hive-env da página Configure do service Hive no console do EMR para melhorar a usabilidade.

• Otimização da mensagem de erro relatada devido à incompatibilidade entre o sistema de arquivos e o metastore do Hive ao gravar dados em uma tabela do Hive.

HDFS

Adição de suporte ao formato de compactação Zstandard (ZSTD).

Flink

Flink atualizado para a versão 1.12-vvr-3.0.2.

Hudi

• Hudi atualizado para a versão 0.8.0.

• Adição de suporte à integração com Spark SQL.

Spark

• Otimização dos nomes de parâmetros na aba spark-defaults da página Configure do service Spark no console do EMR.

• Melhoria no desempenho de saída de logs.

• Adição de suporte ao formato de compactação Zstandard (ZSTD).

Impala

Correção de um erro de core dump que ocorria ao usar o HDFS.

Tez

Otimização dos parâmetros padrão do Tez para melhorar o desempenho dos jobs.

Knox

• Adição de suporte ao Kudu.

• Adição de suporte ao Impala.

• Adição de suporte ao HBase.

Phoenix

Correção do erro "JDBC Driver not found" ao acessar tabelas do Phoenix com Hive ou Spark SQL.

ClickHouse

Adição do Application Performance Management (APM) para monitoramento e alertas.

Service

Alteração

SmartData

Atualizado para a versão 3.5.0.

Para mais informações, consulte Introduction to SmartData 3.5.x.

Spark

• Correção de um problema em que a Adaptive Execution não entrava em vigor em alguns cenários.

• Correção de um problema em que o comportamento das funções agregadas estatísticas era inconsistente com o do Hive.

• Correção de um problema em que dados do tipo CHAR eram lidos incorretamente de tabelas ORC do Hive.

HDFS

O HDFS agora oferece suporte ao algoritmo de criptografia SM4.

Hue

Hue atualizado para a versão 4.9.0.

Alluxio

Alluxio atualizado para a versão 2.5.0.

Druid

• Druid atualizado para a versão 0.20.1.

• Segurança aprimorada.

Livy

Livy atualizado para a versão 0.7.1.

Service

Atualizações

SmartData

Atualizado para a versão 3.4.0.

Para mais detalhes, consulte SmartData 3.4.x Release Notes.

Spark

• Otimização de algumas configurações padrão.
• Otimização de desempenho: suporte a pushdown de Window TopK.
• Compatibilidade do Hive aprimorada ao ler e gravar tabelas CSV ou JSON.
• A instrução ANALYZE agora permite omitir todos os nomes de colunas de uma tabela.
• Suporte para ativar ou desativar o recurso LDAP com um único clique.
• Usabilidade da ferramenta Spark Beeline aprimorada.

Hive

• Otimização das configurações padrão.

• Desempenho aprimorado com a melhoria do otimizador baseado em custo (CBO).

• Adição de uma opção de um clique para ativar ou desativar o recurso LDAP.

• Calcite atualizado para a versão 1.12.0.

• Adição do parâmetro hive.security.authorization.sqlstd.confwhitelist.append.

Presto

Adição de uma opção de um clique para ativar ou desativar o recurso LDAP.

YARN

Correção de uma vulnerabilidade de alto risco que permitia acesso não autorizado à interface web do Hadoop. Esse problema exigia especificar user.name=name na URL ao acessar a interface web do YARN por meio de um túnel SSH.

ZooKeeper

Atualizado para a versão 3.6.2.

Flink

Atualização do arquivo config.sh durante a inicialização para corrigir um problema com o HADOOP_CLASSPATH.

Impala

• Atualizado para a versão 3.4.0.

• Shiro atualizado para a versão 1.7.0.

• Adição de suporte a metadados do DLF.

• Consulta de dados no formato Delta ativada.

• Adição de uma opção de um clique para ativar ou desativar o recurso LDAP.

Tez

Otimização das configurações padrão.

HAS

Correção de um problema em que o arquivo admin.keytab não conseguia ser reinicializado após um erro durante a instalação do HAS.

Ranger

• Correção do problema causado pelo pushdown de filtro no Spark.

• Correção do problema que impedia a ativação do Presto após desativá-lo no Ranger.

• A autenticação LDAP pode ser ativada ou desativada com um clique.

Knox

Correção de um problema de conexão com o Knox para o Druid 0.20.0.

Hue

Adição de uma opção de um clique para ativar ou desativar o recurso LDAP.

Hudi

• Suporte ao recurso SQL on Hudi.
• Correção de um problema em que os resultados da consulta eram imprecisos para alguns dados.
• Suporte a pruning de partições quando o Spark consulta tabelas Copy On Write no Hudi.
• Suporte ao mecanismo de bucket index para melhorar o desempenho de gravação.

Delta Lake

• Correção de um problema em que os metadados não podiam ser sincronizados com o Hive Metastore para tabelas Delta existentes.
• Correção de um problema em que o comando Merge não conseguia analisar *.
• Correção de um problema em que um erro era relatado quando dados formatados em Parquet eram convertidos para uma tabela Delta e os metadados da tabela eram criados.
• Correção de um problema em que o comando Optimize era executado de forma anômala quando não havia arquivos pendentes de compactação.
• A sintaxe Merge agora oferece suporte ao uso de uma subconsulta como source.
• Introdução de um mecanismo de cache para melhorar a eficiência das consultas quando o Presto consulta tabelas Delta.
• Suporte à consulta de tabelas Delta usando o Impala.

Superset

• Correção do problema que impedia o usuário admin de fazer login na interface web.

• Os datasets agora são compatíveis com clusters Druid.

• Os datasets de Spark SQL não são mais suportados.

Sqoop

Importação de arquivos Parquet para o OSS ativada.

Alluxio

Atualizado para a versão 2.4.1.

Phoenix

O Hive on Phoenix agora oferece suporte a configurações de campos.

Pig

Removido.

Service

Descrição

SmartData

Atualizado para a versão 3.2.0.

Para mais informações, consulte Introduction to SmartData 3.2.x.

Spark

• Atualizado para a versão 2.4.7.

• jQuery atualizado para a versão 3.5.1.

• Adição de suporte para atualizar automaticamente os tamanhos de tabelas e partições do Hive.

• Adição de suporte para exportar metadados do Spark e informações de execução de jobs para o DataWorks.

Hive

• Atualizado para a versão 2.3.7.

• O HCatalog agora oferece suporte ao Data Lake Formation.

• Adição de suporte para exportar metadados do Hive e informações de execução de jobs para o DataWorks.

metastore

• Adição do recurso de estatísticas do Hive.

• O HCatalog agora oferece suporte ao Data Lake Formation.

• Otimização do método para obtenção de tokens STS.

HDFS

jQuery atualizado para a versão 3.5.1.

YARN

• jQuery atualizado para a versão 3.5.1.

• Ajuste nas configurações do Fair Scheduler.

• Otimização do Timeline Server.

Zeppelin

Atualizado para a versão 0.9.0.

Ranger

• Adição de configurações de log de auditoria para o Hive.

• Adição de configurações para o Log4j Audit.

OpenLDAP

• Adição de um recurso de auditoria.

• Porta SSL 10636 ativada por padrão.

• Adição de ativação com um clique para o Presto.

Knox

• Correção de vulnerabilidades no framework Spring.

• Correção de um problema na página Executors da interface do Spark.

• Correção de um problema na página de status de jobs da interface do Oozie.

Hue

Adição de suporte ao Presto.

Druid

Atualizado para a versão 0.20.0.

EMR Hook

• Introduzido como um novo service.

• hive-hook: Adição de suporte para exportar metadados do Hive e informações de execução de jobs para o DataWorks.

• spark-hook: Adição de suporte para exportar metadados do Spark e informações de execução de jobs para o DataWorks.

Service

Alteração

SmartData

Atualizado para a 3.1.0.

Consulte Introduction to SmartData 3.1.x.

Alluxio

• Adição de suporte ao Alluxio 2.4.0.

• A configuração padrão escala com o tamanho dos nós do cluster.

• Por padrão, os clusters EMR usam o HDFS como UnderFS, o que funciona imediatamente após a instalação.

• Aprimoramento do Alluxio OSS UnderFS para oferecer suporte a novos recursos, como o versionamento do OSS.

• Agora compatível com engines como Hadoop, Hive, Spark e Presto.

Hudi

Adição de suporte ao Hudi 0.6.0.

Spark

O JindoTable agora oferece suporte para ativar ou desativar a coleta de dados.

Hive

• Correção de um vazamento de pool de conexões no HiveServer.

• O JindoTable agora oferece suporte para ativar ou desativar a coleta de dados.

• Otimização do desempenho de ADD COLUMN.

• Correção de leituras incorretas de dados de tabelas Hudi.

• A configuração padrão escala com o tamanho dos nós do cluster.

HDFS

Aumento do limite de snapshots.

YARN

A configuração padrão escala com o tamanho dos nós do cluster.

Tez

A configuração padrão escala com o tamanho dos nós do cluster.

Sqoop

Correção de um problema com importações de arquivos Avro.

Service

Atualizações

SmartData

Atualizado para a 3.0.0.

Para mais informações, consulte Introduction to SmartData 3.0.x.

Spark

• Adição de suporte a metadados do Alibaba Cloud Data Lake Formation (DLF).

• Atualização das dependências do HAS para 2.0.1.

• Correção de um problema com crases no Streaming SQL.

• Remoção do pacote JAR do Delta. O Delta agora é implantado separadamente.

• Os caminhos de log agora gravam no HDFS.

Hive

• Adição de suporte a metadados do Alibaba Cloud Data Lake Formation (DLF).

• Correção de um problema em que um arquivo DUMMY era gravado ao ler um diretório vazio de uma tabela Delta.

• Atualização das dependências do HAS para 2.0.1.

Presto

• Adição de suporte a metadados do Alibaba Cloud Data Lake Formation (DLF).

• Remoção de limitações na leitura de tabelas Delta.

• Correção de configurações de JVM ausentes no modo de alta segurança.

• Atualização das dependências do HAS para 2.0.1.

HDFS

• Adição de suporte ao modo de troca de discos a quente (hot-swap).

• Atualização das dependências do HAS para 2.0.1.

YARN

• Correção de problemas com o YARN RMZKStateStore.

• Adição de suporte a arquivos SNAPPY do Log Service (SLS).

• Modificação da configuração de diretório para o modo local do MapReduce para corrigir um problema de verificação de permissão de diretório.

• Adição de suporte ao modo de troca de discos a quente (hot-swap).

• Os logs agora são gravados no HDFS.

• Atualização das dependências do HAS para 2.0.1.

ZooKeeper

• Adição de suporte para vincular portas de service a um endereço IP interno.

• Atualização das dependências do HAS para 2.0.1.

Flink-Vvp

• Atualizado para 1.11-2.2.2.

• Adição de suporte a SQL e Autopilot.

Flink

• Adição de suporte para gravar dados no OSS em modo de cache. Esse recurso, combinado com os checkpoints do Flink e uma source reproduzível, fornece semântica EXACTLY_ONCE.

• Sincronização com o Apache Flink 1.11.1. O SQL agora oferece suporte a saída multi-caminho (MULTI INSERT).

• Atualização das dependências do HAS para 2.0.1.

Impala

• Adição de suporte para personalizar catalogd.flgs, impalad.flgs e statestored.flgs.

• Shiro atualizado para 1.6.0.

• Atualização das dependências do HAS para 2.0.1.

Tez

• Otimização dos parâmetros de memória padrão do AM.

• Atualização das dependências do HAS para 2.0.1.

HAS

Atualização das dependências do HAS para 2.0.1.

Storm

Zeppelin

Ranger

OpenLDAP

Oozie

Knox

Kafka

HUE

HBase

Druid

service

Descrição

Bigboot

• Atualizado para a versão 2.7.301.

• O Jindo DistCp agora oferece suporte à gravação de dados no OSS no modo de arquivamento ou acesso infrequente.

• O Fuse passou a oferecer suporte a múltiplos namespaces.

• Melhorias no cache de metadados para o modo de cache.

Spark

• Spark atualizado para a versão 2.4.5.2.0.

• Suporte adicionado para metastores de terceiros.

• Inclusão do metastore-client do datalake.

Hive

• Hive atualizado para a versão 2.3.5.6.0.

• Adicionado suporte para metastores de terceiros.

• Inclusão do metastore-client do datalake.

Presto

Atualizado para a versão 338.

Ranger

• Pacote de software atualizado para a versão 1.2.0-1.5.0.

• Adicionado suporte para o Presto 338.

• Campo de descrição adicionado ao arquivo de configuração.

HDFS

O espaço reservado para DataNodes agora é configurado de forma adaptativa.

Knox

Adicionado suporte para Impala, versões mais recentes do Flink e Platform for AI (PAI).

Druid

Atualizado para a versão 0.18.1.

SmartData

Atualizado para a versão 2.7.301.

service

Alterações

Bigboot

• Lançamento do JindoTable, que oferece suporte à coleta de estatísticas com base na popularidade da tabela ou partição.

• Adicionado suporte para políticas de armazenamento completas no modo de armazenamento em bloco e para políticas de armazenamento em camadas, incluindo acesso infrequente e arquivamento.

• Adicionada a ferramenta de migração de dados Jindo DistCp.

• Aprimoramos o Jindo Fuse e corrigimos problemas relacionados.

• Melhorias na integração do esquema JFS com o engine do Hive e o Jindo JobCommitter no modo de cache.

• No modo de armazenamento em bloco, agora é possível configurar um peso para ler dados diretamente do OSS. Isso ajuda a distribuir e reduzir a sobrecarga de leitura do cache local.

• O JindoFS agora conta com módulos de software separados: Bigboot (camada de gerenciamento), SmartData (service distribuído) e JindoFS SDK. Cada módulo pode ser atualizado e mantido de forma independente.

service

Alterações

Flink

O Flink de código aberto foi atualizado para a Ververica Platform. Essa plataforma é uma versão personalizada do Flink 1.10 que fornece recursos adicionais, como o mecanismo de armazenamento proprietário Gemini.

Bigboot

Atualizado para a versão 2.7.0.

Delta

• Atualizado para a versão 0.6.0.

• Desacoplamos o código do Delta do código do Spark.

Spark

• Atualizado para a versão 2.4.5.

• Adicionada compatibilidade com os scripts streaming-sql do DataFactory.

• Adicionado suporte para o Delta 0.6.0.

Hive

Suporte adicionado para o Delta 0.6.0.

Ranger

• Adicionado suporte para implantação personalizada de HDFS, Hive e Spark.

• Agora é possível configurar o ranger-admin-site.xml e o ranger-ugsync-site.xml no console.

HDFS

Se nenhum DataNode estiver disponível ao gravar dados no HDFS, o HDFS agora exibe uma mensagem de exceção (HDFS-9023) identificando o DataNode indisponível.

Hue

• Adicionado suporte para a instalação do componente Hue em clusters de gateway.

• Suporte adicionado para a implantação de múltiplas instâncias do Hue em um único nó.

DataFactory

Adicionado suporte para o Delta 0.6.0.

Druid

Atualizado para a versão 0.18.0.

Knox

• Atualizado para a versão 1.1.0-1.0.7.

• Adicionado suporte do Knox para a UI do HBase.

Versão

Data de lançamento

EMR-3.27.0

29 de abril de 2020

EMR-3.27.1 (Não disponível para compra)

8 de maio de 2020

EMR-3.27.2 (Não disponível para compra)

20 de maio de 2020

Recurso

Descrição

Implantação de service personalizado

Agora é possível personalizar a implantação de services em um nó mestre. Os seguintes services são suportados:

• Hadoop

• Spark

• Hive

• ZooKeeper

• Presto

Desligamento graceful para auto scaling

Após ativar o graceful shutdown, o EMR libera um nó somente após a conclusão das tarefas em execução dentro de um tempo especificado.

service

Descrição

Spark

• Adicionado suporte para campos de partição do tipo data no CUBE.

• Aumentamos a profundidade da pilha para o spark-submit.

Delta

• Instruções DDL aprimoradas, incluindo CREATE, SHOW e DESCRIBE.

• Adicionado suporte para a instrução OPTIMIZE com Z-order.

Knox

• O Knox agora é compatível com a UI do Druid.

• Adicionado suporte para implantação multi-master.

Hive

• Adicionado suporte para o magic committer em tabelas do HCatalog.

• Removemos configurações padrão desatualizadas.

Bigboot

• Atualizado para a versão 2.6.3.

• Suporte adicionado para implantação multi-master.

SmartData

• Atualizado para a versão 2.6.3.

• Adicionado suporte para implantação multi-master.

Ranger

• Adicionado suporte para o service do Solr.

• Suporte adicionado para o PrestoSQL versão 311.

Tez

Adicionado suporte para definir o diretório temporário (scratchdir) no OSS.

Presto

Atualizado para a versão 331.

Druid

Atualizado para a versão 0.17.1.

Superset

Atualizado para a versão 0.35.2.

Sqoop

• Pacote JAR do MySQL JDBC atualizado para a versão 5.1.48.

• O modo de exportação direta do MySQL agora oferece suporte a codificação personalizada com o parâmetro --mysql-charset.

Versão

Data de lançamento

EMR-3.26.3 (não disponível para compra)

16 de abril de 2020

service

Alterações

Bigboot

• Atualizado para a versão 2.6.3.

• Adicionado suporte para metadados do Tablestore e alta disponibilidade de namespace.

SmartData

Hive

Ativado o suporte para um committer direto em tabelas do HCatalog.

YARN

Configuramos o JindoOssCommitter como o committer padrão.

HDFS

Atualizamos as configurações relacionadas ao JindoFS.

Spark

Configuramos o JindoOssCommitter como o committer padrão.

service

Alterações

Ranger

• Inicializamos o banco de dados RangerAdmin em clusters de alta disponibilidade.

• Corrigido um problema de segurança no script de inicialização do RangerUserSync.

Spark

• Adicionado suporte para a configuração de parâmetros relacionados ao Delta, como spark.sql.extensions, no console.

• Suporte adicionado para leitura de tabelas Delta usando o Hive sem definir o formato de entrada.

• Adicionado suporte para as instruções ALTER TABLE SET TBLPROPERTIES e UNSET TBLPROPERTIES.

Delta

Hive

Corrigido um problema em que as tarefas do MapReduce falhavam no modo local automático.

Presto

• Atualizado para a versão 310.

• Atualizamos o joda-time para a versão 2.10.5.

Tez

• Atualizado para a versão 0.9.2.

• Corrigido um problema em que o progresso da aplicação era exibido incorretamente na UI do Tez.

• Corrigido um problema que impedia a visualização do histórico da aplicação na UI do Tez.

Impala

Corrigido um problema em que o Impala não conseguia acessar tabelas LZO.

HDFS

Removemos pacotes JAR relacionados ao mongo-hadoop.

ZooKeeper

Atualizado para a versão 3.5.6.

YARN

Agora é possível adicionar o item de configuração yarn.resourcemanager.system-metrics-publisher.enabled=true na aba yarn-site.xml para oferecer suporte à UI do Tez.

Bigboot

• Atualizado para a versão 2.2.3.

• Adicionado suporte para a operação de renomeação no modo de cache do OSS.

SmartData

Knox

Atualizamos os pacotes de dependência.

Oozie

Atualização dos pacotes de dependência.

service

Alterações

Delta

• Adicionado suporte para instruções SQL, incluindo ALTER, CONVERT, CREATE, CTAS, DELETE, DESC, INSERT, MERGE, OPTIMIZE, UPDATE e VACUUM.

• Integramos e otimizamos o comando OPTIMIZE.

• Adicionado suporte para o conector do Hive.

• Suporte adicionado para outros recursos de código aberto.

Grafana

Adicionado o componente Grafana, versão 6.4.2, para clusters independentes do Flink.

Prometheus

Incluído o componente Prometheus, versão 2.13.0, para clusters independentes do Flink.

Alertmanager

Adicionado o componente Alertmanager, versão 0.19.0, para clusters independentes do Flink.

TensorFlow on Spark

• Adicionado suporte para a implantação do framework TensorFlow no Spark. Essa integração profunda permite um processo de ponta a ponta, desde o pré-processamento de dados até o treinamento de deep learning, com agendamento de tarefas e troca de dados otimizados.

• Suporte adicionado para tarefas de streaming.

service

Alterações

SmartData

• Os modos de uso do JindoFS foram otimizados. O modo de bloco permanece inalterado. O modo de cache foi aprimorado para compatibilidade com o uso existente do sistema de arquivos do OSS. Agora ele oferece suporte a cache de dados e cache de metadados, ambos desativados por padrão e configuráveis separadamente.

• Otimizamos o desempenho de leitura e gravação nos modos de bloco e cache.

• A limpeza de disco foi otimizada. O sistema agora mede os dados quentes armazenados em cache nos discos locais com mais precisão e os limpa mais rapidamente para garantir que o uso do disco não exceda a cota configurada.

• O suporte para clusters de gateway foi aprimorado, permitindo o uso dos modos de bloco e cache.

• Adicionado suporte para um modo de implantação que separa um único cluster de armazenamento de múltiplos clusters de computação.

Spark

• Adicionado suporte para parâmetros relacionados ao Delta.

• Suporte adicionado para a configuração do plug-in do Ranger Spark.

• Atualizamos o JindoCube para a versão 0.3.0.

Hive

• Adicionado um recurso de verificação de compatibilidade de SQL.

• Lançada a combinação do Hive 2.3.5 e Hadoop 2.8.5.

• O conteúdo do arquivo hiveserver2-site.xml não é mais sincronizado com o arquivo hive-site.xml no diretório spark-conf quando o componente é reiniciado.

• Adicionado suporte para o uso do comando MSCK para adicionar diretórios incrementais.

• Corrigido um bug que ocorria quando o Hive reutilizava um contêiner do Tez.

• Suporte adicionado para o uso do comando MSCK para otimizar diretórios de colunas.

Bigboot

Atualizado para a versão 2.2.1, que corrige um problema em que o código nativo não podia ser executado em modelos de servidor específicos.

Ranger

• Refatoramos o modo de implantação do plug-in do Spark.

• Corrigido um bug em que o nó emr-header-2 em um cluster de alta disponibilidade não conseguia obter um keytab.

Kudu

Corrigimos a lógica de inicialização.

ZooKeeper

Adicionada configuração para comandos de palavras de quatro letras, que são ativados por padrão.

HDFS

Adaptamos o HDFS para o JindoFS.

YARN

• Alteramos o valor padrão de yarn.scheduler.capacity.node-locality-delay para -1.

• Adaptamos o YARN para o JindoFS.

Has

Integrado com o OpenLDAP como backend.

OpenLDAP

Adaptamos o OpenLDAP para o Has.

Presto

Atualizado para a versão 0.228.

Kafka

Introduzido um recurso que isola automaticamente discos defeituosos na família de instâncias d1.

Druid

Atualizado para a versão 0.16.0.

Flume

Atualizado para a versão 1.9.0.

Flink

• Atualizado para a versão 1.9.1.

• Adicionado suporte para clusters independentes do Flink (disponível via lista de permissões).

Service

Descrição

Druid

• Atualizado para a versão 0.15.1.

• Adicionado o componente router.

• Atualizado o fastjson.

Spark

• Corrigido um problema no class loader do spark thrift server.

• Maior estabilidade no código relacionado a transações no Spark.

• Corrigidos problemas de leitura e gravação no formato ORC após a atualização do Hive integrado para a versão 2.3.

• Suporte adicionado para a sintaxe MERGE INTO.

• Suporte adicionado para as sintaxes SCAN e STREAM.

• O sink do Kafka para Structured Streaming agora oferece suporte a Exactly-Once Semantics (EOS).

• Delta atualizado para a versão 0.4.0.

Hive

• Hooks legados do Hive removidos.

• Otimização para data skew em consultas com vários campos COUNT(DISTINCT).

• Corrigido um problema de perda de dados ao fazer join de tabelas com diferentes versões de bucket.

Flink

Atualizado para a versão 1.8.2.

Bigboot

• Ferramenta de arquivos pequenos atualizada.

• Corrigido um problema no JAR do OSS que mantinha uma thread não daemon ativa.

Kafka

• Adicionado suporte a Deployment Set.

• Dependência do fastjson removida.

HDFS

• Lógica de implantação do JAR do SmartData OSS otimizada.

• JAR do SmartData OSS atualizado.

Flume

fastjson atualizado.

Tensorflow on Spark

Adicionado o Tensorflow on Spark.

Has

fastjson atualizado.

Livy

fastjson atualizado.

Componente

Alterações

Kudu

• Adicionado o componente Kudu. O Kudu preenche uma lacuna no ecossistema Hadoop. Ele oferece inserção, modificação e acesso aleatório rápidos, semelhantes ao HBase, e suporta análise e consultas de dados em grande escala, como o HDFS ou Parquet.

  • Disponibiliza APIs em C++ e Java para desenvolvimento personalizado.

  • Oferece integração com Impala, Spark e Hive Metastore.

• Esta versão é baseada no Apache Kudu 1.10.0 de código aberto.

OpenLDAP

• Adicionado o componente OpenLDAP para substituir o ApacheDS. O ApacheDS foi descontinuado.

• Suporte a alta disponibilidade.

Componente

Descrição

JindoFileSystem

• Múltiplos modos de armazenamento

  • Modo de bloco: neste modo, os dados são armazenados como blocos no OSS de backend, e o service de Namespace local mantém os metadados. Este modo oferece desempenho superior para operações de metadados e dados. O modo de bloco suporta várias políticas de armazenamento, incluindo WARM (réplicas locais e no OSS), COLD (apenas réplica no OSS), HOT (múltiplas réplicas locais e uma réplica no OSS), TEMP (apenas réplica local) e ALL_HDD (múltiplas réplicas locais). A política padrão é WARM. Defina diferentes políticas de armazenamento para diretórios de acordo com os cenários da sua aplicação.

  • Modo de cache: este modo é compatível principalmente com os métodos de armazenamento existentes no OSS. No modo de cache, os arquivos são armazenados como objetos no OSS. Com base nos padrões de acesso, os dados e metadados são armazenados em cache localmente para melhorar o desempenho de acesso. Este modo fornece várias políticas de sincronização de metadados para diferentes cenários.

• Suporte a cliente externo

  • O SDK do cliente permite acessar o sistema de arquivos JindoFS de fora de um cluster E-MapReduce. Use o cliente para acessar o namespace no modo de bloco. No entanto, clientes externos não podem usar o cache de dados dentro do cluster E-MapReduce, o que resulta em um desempenho inferior em comparação ao acesso de dentro do cluster.

  • O modo de cache mantém a semântica original de armazenamento do OSS e acelera o cache de dados dentro de um cluster E-MapReduce usando o JindoFS. Portanto, acesse os dados diretamente de fora do cluster E-MapReduce usando um cliente OSS, como o SDK do OSS ou o OssFileSystem do E-MapReduce.

• Suporte a componentes do ecossistema

  • O JindoFS agora suporta vários mecanismos de computação no E-MapReduce, como Spark, Flink, Hive, MapReduce, Impala e Presto.

  • Em cenários de separação de armazenamento e computação, o JindoFS pode armazenar logs de jobs, como logs de contêiner do YARN e logs de eventos do Spark.

  • O JindoFS pode ser usado como armazenamento de backend para HFiles do HBase, ampliando a capacidade de armazenamento do HBase.

OssFileSystem

• Adicionado um mecanismo automático para detectar discos defeituosos e evitar falhas de gravação de cache no OSS.

• Adicionadas as configurações necessárias para o OssFileSystem.

Bigboot

• Atualizado para a versão 2.0.0.

• Inclui atualizações importantes, como suporte a múltiplos namespaces, armazenamento de blocos de dados locais como arquivos grandes, armazenamento multimodo e clientes externos.

• Corrigido um problema em que o monitor do Bigboot exibia um status incorreto durante a reinicialização do servidor.

• Adicionada uma especificação de service para o componente Kudu.

• Adicionada validação de correção para especificações de service.

Hadoop

• HDFS

  • Adaptado para o HDFS Federation. Agora crie um cluster HDFS Federation usando configurações personalizadas e operações de API. Isso evita a reformatação do NameNode ao criar um cluster Federation.

  • Otimizada a lógica de detecção de discos defeituosos. Para cenários de disco local, execute o comando dfsadmin para acionar um relatório de blocos do DataNode.

• YARN

  Corrigido um problema em que a lista de jobs do MapReduce JobHistory não era atualizada quando os logs de contêiner de jobs MR eram armazenados no JindoFS ou OSS.

Spark

• Relational Cache

  Adicionado suporte ao Relational Cache para acelerar consultas de usuários por meio de pré-computação. Crie um cache relacional para pré-computar dados. Quando uma consulta é executada, o Spark Optimizer encontra automaticamente um cache adequado, reescreve o plano de execução SQL e continua a computação com base nos dados em cache para melhorar a velocidade da consulta. Este recurso é adequado para cenários como relatórios, painéis, sincronização de dados e análise multidimensional.

  • Suporta operações CACHE, UNCACHE, ALTER e SHOW por meio de instruções DDL. Os dados em cache suportam todas as fontes e formatos de dados no Spark.

  • Suporta atualizações automáticas de dados em cache e atualizações manuais usando o comando REFRESH. Atualizações incrementais e baseadas em partições também são suportadas.

  • Suporta otimização de plano de execução com base no Relational Cache.

• Streaming SQL

  • Padronizada a configuração de parâmetros do Stream Query Writer.

  • Otimizada a verificação de compatibilidade de schema para tabelas de dados do Kafka.

  • Um schema é criado automaticamente no Schema Registry se não existir um schema para uma tabela de dados do Kafka.

  • Melhoradas as mensagens de log para incompatibilidade de schema do Kafka.

  • Corrigido um problema em que os nomes das colunas precisavam ser especificados explicitamente ao gravar resultados de consultas em uma tabela do Kafka.

  • Removida a restrição de que consultas SQL de streaming suportam apenas Kafka e Loghub como fontes de entrada de dados.

• Delta

  Adicionado suporte ao Delta. Crie uma fonte de dados Delta usando o Spark para suportar cenários como gravação de dados de streaming, leituras e gravações transacionais, validação de dados e time travel. Para mais informações, consulte a documentação do Delta.

  • Suporta leitura e gravação de dados no Delta usando a API DataFrame.

  • Suporta o uso do Delta como source ou sink para leitura ou gravação de dados usando a API Structured Streaming.

  • Suporta operações de update, delete, merge, vacuum e optimize usando a API do Delta.

  • Suporta a criação de tabelas baseadas em Delta, importação de dados para o Delta e leitura de tabelas Delta usando SQL.

• Outras atualizações

  • Adicionado suporte a restrições, incluindo primary key e foreign key.

  • Resolvidos conflitos de servlet e outros pacotes JAR.

Flink

Revertida a configuração de log do log4j.

Kafka

• Revertida a configuração de log do log4j.

• Atualizado o fastjson.

Zeppelin

Atualizado o pacote de dependência commons-lang3 para a versão 3.7 para corrigir um problema em que o PySpark não conseguia gravar no OSS. Para mais informações, consulte Incompatibilidade do Spark 2.4 com commons-lang3 no Zeppelin.

Ranger

Adicionado suporte à instrução SHOW GRANTS.

Analytics-Zoo

Corrigido um erro de instalação do NumPy.

Impala

O Impala agora é compatível com o Apache Kudu 1.10.0.

Presto

Atualizado para a versão 0.221.

ZooKeeper

Atualizado para a versão 3.5.5.