E-MapReduce:Enhanced features of Spark in EMR

EMR V5.5.0 (Spark 3.2.0)

Novos recursos e melhorias

• COUNT DISTINCT condicional: Agora você pode usar uma expressão IF dentro de COUNT DISTINCT. A sintaxe CASE WHEN para COUNT DISTINCT foi otimizada. Esse recurso vem desativado por padrão. Para ativá-lo, defina spark.sql.optimizer.rewriteConditionalDistinctAggregates como true.

• Fallback de Shuffle Hash Join: O Spark pode alternar de Shuffle Hash Join para Sort Merge Join quando este for mais eficiente. Para habilitar esse comportamento, defina spark.sql.join.preferSortMergeJoin como false e spark.sql.join.enableShuffledHashJoinFallback como true.

• Mesclagem automática de arquivos pequenos: O sistema mescla automaticamente arquivos de saída pequenos em partições não dinâmicas. Esse recurso vem desativado por padrão. Para ativá-lo, defina spark.sql.adaptive.merge.output.small.files.enabled como true.

• Ajuste automático de concorrência para GROUPING SETS e DISTINCT: O Spark ajusta automaticamente o paralelismo em consultas que usam GROUPING SETS ou DISTINCT. Esse recurso vem desativado por padrão. Para ativá-lo, defina spark.sql.execution.optimizeExpand como true.

• Melhorias no Hive on Spark: Desempenho e compatibilidade do Hive on Spark otimizados.

• Sintaxe de time travel: Suporte adicionado à sintaxe de time travel.

• Integração com JindoSDK: Spark adaptado para funcionar com o JindoSDK.

EMR V5.4.0 (Spark 3.1.2)

Novos recursos e melhorias

• Spark atualizado para a versão 3.1.2.

• Desempenho de computação distinta no Spark SQL otimizado para operadores de agregação que contêm múltiplas expressões count(distinct case ... when ...).

Correções de bugs

• Erro de índice de array fora dos limites corrigido. O problema ocorria quando algumas estatísticas exigidas pela Adaptive Query Execution (AQE) estavam ausentes.

• Erros relacionados à AQE e ao cache de dados corrigidos em cenários específicos.

EMR V5.2.1 (Spark 3.1.1)

Novos recursos e melhorias

• Suporte adicionado para Delta Lake e Hudi.

• Suporte adicionado para Remote Shuffle Service.

• Suporte adicionado para Livy.

• Nomes de parâmetros otimizados na aba spark-defaults da guia Configure no console do EMR.

• Os recursos de otimização baseada em custo (CBO), pruning dinâmico de partições e Z-order oferecem desempenho 50% superior em comparação ao Spark 3 padrão.

• Use Log Service, DataHub e Message Queue for Apache RocketMQ como fontes de dados.

EMR V4.10.0 (Spark 2.4.8)

Novos recursos e melhorias

• Spark atualizado para a versão 2.4.8.

• Configurações padrão do Thrift Server otimizadas.

• Nomes de parâmetros otimizados na aba spark-defaults da guia Configure no console do EMR.

• Melhorias no Hive on Spark.

• Suporte adicionado para o algoritmo de compressão Zstandard.

Correções de bugs

• Problema corrigido em que a execução adaptativa não tinha efeito em alguns cenários.

• Problema corrigido em que o Spark e o Hive tratavam funções de agregação estatística de maneira diferente.

• Problema corrigido em que o Spark não conseguia ler dados válidos do tipo CHAR de uma tabela ORC do Hive.

• Erro de índice de array fora dos limites corrigido. O problema ocorria quando algumas estatísticas exigidas pela AQE estavam ausentes.

• Erros relacionados à AQE e ao cache de dados corrigidos em cenários específicos.

• Log4j Metrics Appender removido devido a configuração inválida.

• Exceção de ponteiro nulo corrigida durante a inicialização do SparkContext.

EMR V4.9.0 (Spark 2.4.7)

Correções de bugs

• Problema corrigido em que a execução adaptativa não tinha efeito em alguns cenários.

• Problema corrigido em que o Spark e o Hive tratavam funções de agregação estatística de maneira diferente.

• Problema corrigido em que o Spark não conseguia ler dados válidos do tipo CHAR de uma tabela ORC do Hive.

EMR V4.8.0 (Spark 2.4.7)

Novos recursos e melhorias

• Configurações padrão otimizadas.

• Consultas top-k baseadas em janelas podem sofrer pushdown, o que melhora o desempenho.

• Leitura e gravação de tabelas do Hive nos formatos CSV ou JSON aprimoradas.

• Omita todos os nomes de colunas em uma instrução ANALYZE.

• Ative ou desative a autenticação LDAP com um único clique em.

• Usabilidade do Spark Beeline aprimorada.

EMR V3.38.0 (Spark 2.4.8)

Novos recursos e melhorias

• Spark atualizado para a versão 2.4.8.

• Suporte tanto para Spark 2.4.8 quanto para Spark 3.1.2.

  Nota

  Nesta versão, o Delta Lake e o Remote Shuffle Service não têm suporte no Spark 3.

• Desempenho de computação distinta no Spark SQL otimizado para operadores de agregação que contêm múltiplas expressões count(distinct case ... when ...).

Correções de bugs

• Erro de índice de array fora dos limites corrigido. O problema ocorria quando algumas estatísticas exigidas pela AQE estavam ausentes.

• Erros relacionados à AQE e ao cache de dados corrigidos em cenários específicos.

EMR V3.34.0 (Spark 2.4.7)

Novos recursos e melhorias

• Configurações padrão otimizadas.

• Consultas top-k baseadas em janelas podem sofrer pushdown, o que melhora o desempenho.

• Leitura e gravação de tabelas do Hive nos formatos CSV ou JSON aprimoradas.

• Omita todos os nomes de colunas em uma instrução ANALYZE.

• Ative ou desative a autenticação LDAP com um único clique em.

• Usabilidade do Spark Beeline aprimorada.

EMR V3.30.0 (Spark 2.4.5)

Novos recursos e melhorias

• Suporte adicionado para metadados do Alibaba Cloud Data Lake Formation (DLF).

• Dependências atualizadas para a versão 2.0.1.

• Delta implantado separadamente; o pacote JAR do Delta foi removido da distribuição principal.

• Logs armazenados em diretórios do HDFS.

Correções de bugs

• Problemas causados por crases (` ``) no Streaming SQL corrigidos.

EMR V3.25.0 (Spark 2.4.3)

Novos recursos e melhorias

• Configure parâmetros do Delta Lake, como spark.sql.extensions, no console do EMR.

• Leia dados de tabelas Delta usando o Hive sem configurar manualmente o InputFormat.

• Suporte adicionado para as instruções ALTER TABLE SET TBLPROPERTIES e ALTER TABLE UNSET TBLPROPERTIES.

EMR V3.23.0 (Spark 2.4.3)

Novos recursos e melhorias

• Suporte adicionado para a sintaxe MERGE INTO.

• Suporte adicionado para as sintaxes SCAN e STREAM.

• Suporte a semântica exactly-once (EOS) para o sink Kafka do Structured Streaming.

• Delta atualizado para a versão 0.4.0.

Correções de bugs

• Problema corrigido em que o IsolatedClassLoader não conseguia carregar classes em certos casos (Spark SQL Thrift Server).

• Código de transação do Spark refatorado para melhorar a estabilidade.

• Problema corrigido em que arquivos ORC (Optimized Row Columnar) não podiam ser lidos ou gravados após a atualização do Hive integrado para a versão 2.3.

EMR V3.22.0 (Spark 2.4.3)

Novos recursos e melhorias

Cache relacional

Um cache relacional acelera consultas por meio da pré-computação de dados. Durante uma consulta, o Spark Optimizer detecta e aplica automaticamente um cache relacional apropriado, otimizando o plano de execução SQL. Os casos de uso incluem processamento analítico online multidimensional (MOLAP), geração de relatórios, criação de painéis e sincronização de dados entre clusters.

• Operações DDL com suporte: CACHE, UNCACHE, ALTER e SHOW. Todas as fontes e formatos de dados do Spark são compatíveis.

• Atualize os caches automaticamente ou com o comando REFRESH. Há suporte para cache incremental por partição.

• O plano de execução SQL é otimizado automaticamente quando um cache relacional está disponível.

Streaming SQL

• Parâmetros do Stream Query Writer normalizados.

• Verificações de compatibilidade de esquema para tabelas de dados do Kafka otimizadas.

• Esquema registrado automaticamente no Schema Registry para tabelas de dados do Kafka sem esquema existente.

• Saída de logs aprimorada quando um esquema do Kafka é incompatível.

• Restrição removida que limitava as consultas Streaming SQL apenas às fontes de dados Kafka e LogHub.

Delta (adicionado nesta versão)

O componente Delta agora está disponível. Use o Spark para criar uma fonte de dados Delta para gravações em streaming, leituras e gravações transacionais, verificação de dados e rollback de dados.

• Leia e grave dados Delta usando a API DataFrame.

• Leia e grave dados Delta usando a API Structured Streaming, com o Delta como source ou sink.

• Use a API Delta para atualizar, excluir, mesclar, limpar (vacuum) e otimizar dados.

• Use instruções SQL para criar tabelas Delta, importar dados e consultar tabelas Delta.

Correções de bugs

• Problema corrigido em que era necessário especificar explicitamente o nome da coluna ao gravar resultados de consulta em uma tabela de dados do Kafka.

• Conflitos de JAR resolvidos, incluindo o conflito de servlet.