E-MapReduce:EMR-3.x series releases

Version

Date

EMR-3.55.0

27 octobre 2025

Service

Modification

Ranger

• Le serveur Jindoauth permet désormais aux utilisateurs clients d'utiliser des rôles RAM personnalisés pour accéder à OSS.

• Correction des dépendances manquantes dans le plug-in Ranger YARN.

Paimon

Mise à niveau vers la version 1-ali-16.3.

JindoCache

Mise à niveau vers la version 6.10.1.

Version

Date

EMR-3.54.0

10 juillet 2025

Service

Modifications

Hive

Résolution des problèmes connus.

Tez

Intégration des correctifs de bogues de la communauté pour améliorer les performances et la stabilité.

Version

Date

EMR-3.53.0

24 avril 2025

Service

Modification

Trino

Correction d'un problème de disponibilité LDAP.

YARN

Correction des défauts open source (YARN-10213, YARN-6207 et YARN-9339).

StarRocks

Ajout de la prise en charge des clusters avec séparation du stockage et du calcul.

JindoCache

Mise à niveau vers la version 6.8.2.

EMRHOOK

Amélioration de la stabilité.

Version

Date

EMR-3.52.1

18 décembre 2024

EMR-3.52.0 (Non disponible pour les nouveaux achats)

4 décembre 2024

Service

Modifications

Spark

• Correction des problèmes de configuration rencontrés lors du scale-out.

• Correction des échecs de connexion SASL intermittents dans les clusters Kerberos.

Hive

Correction des problèmes de configuration rencontrés lors du scale-out.

Trino

Correction d'un problème empêchant les connexions après l'activation de LDAP.

Presto

ZooKeeper

Ajout du support pour la configuration personnalisée.

Ranger

Remplacement du plugin Ranger pour Spark 3 par celui du projet open source Kyuubi.

Hudi

Mise à niveau vers la version 0.15.0.

Celeborn

Mise à niveau vers la version 0.5.2.

JindoCache

Mise à niveau vers la version 6.5.3.

StarRocks 3

Mise à niveau vers la version 3.2.11.

Kyuubi

Mise à niveau vers la version 1.9.2.

StarRocks 2

Mise à niveau vers la version 2.5.22.

Impala

Kudu

Kafka

Kafka-Manager

Version

Date de publication

EMR-3.51.4

18 décembre 2024

EMR-3.51.3 (Non disponible pour les nouveaux achats)

29 novembre 2024

EMR-3.51.2 (Non disponible pour les nouveaux achats)

29 août 2024

EMR-3.51.1 (Non disponible pour les nouveaux achats)

21 juin 2024

EMR-3.51.0 (Non disponible pour les nouveaux achats)

23 avril 2024

Version

Date

EMR-3.50.0

19 février 2024

Service

Modifications

Hudi

Mise à niveau vers la version 0.14.0.

Flume

Mise à niveau vers la version 1.11.0.

Kyuubi

Mise à niveau vers la version 1.7.3.

Impala

Mise à niveau vers la version 4.3.0.

Celeborn

Mise à niveau vers la version 0.3.2.

JindoCache

Mise à niveau vers la version 6.2.0.

Paimon

Mise à niveau vers la version 0.7-ali-1.

Kafka

• Mise à niveau vers la version 3.6.1.

• Correction d'une vulnérabilité d'authentification SASL dans Kafka Connect.

Spark

Correction d'une vulnérabilité dans Commons Text.

StarRocks

• Mise à niveau de StarRocks 2 vers la version 2.5.13.

• Mise à niveau de StarRocks 3 vers la version 3.1.5.

Ranger

• Correction d'une vulnérabilité dans Commons Text.

• Correction d'une vulnérabilité de contournement des autorisations par correspondance de chemin dans Spring Security.

• Correction d'une vulnérabilité de contournement de l'authentification forward/include dans Spring Security.

• Correction d'une vulnérabilité de contournement de l'authentification par correspondance de motifs spéciaux dans Spring Framework.

• La période de synchronisation des utilisateurs LDAP de Ranger est désormais configurable.

Version

Date

EMR-3.49.1

16 novembre 2023

EMR-3.49.0 (Non disponible à l'achat)

27 octobre 2023

Composant

Modification

JindoCache

Ajout du composant JindoCache, version 6.1.1.

JindoData

JindoData n'est pas disponible. Vous pouvez utiliser JindoCache pour la mise en cache des données et DLF-Auth pour l'authentification.

Spark

Suppression de la configuration liée à jdo du fichier hive-site.xml.

HBase

Ajout d'une option de configuration pour sélectionner la version du serveur HBase Thrift (v1 ou v2).

StarRocks

Mise à niveau de StarRocks vers la version 2.5.10.

Doris

Mise à niveau de Doris vers la version 1.2.7.

Celeborn

Mise à niveau de Celeborn vers la version 0.3.1.

Paimon

Mise à niveau de Paimon vers la version 0.6-ali-2.

ClickHouse

Mise à niveau de ClickHouse vers la version 23.8.2.7.

Version

Date

EMR-3.48.2

17 août 2023

Service

Description

Trino

• Correction d'un problème empêchant le connecteur Paimon d'interroger les tables HDFS.

• Correction d'un problème empêchant la lecture des métriques des nœuds de travail.

Presto

• Mise à niveau vers la version 0.283.

• Correction d'un problème empêchant la lecture des métriques des nœuds de travail.

ClickHouse

L'utilisateur par défaut dispose désormais de toutes les autorisations.

StarRocks

• Le service StarRocks existant a été renommé en StarRocks2.

• Ajout de StarRocks3 (version 3.1.2), qui utilise par défaut l'intégration calcul-stockage. La séparation calcul-stockage n'est pas prise en charge.

Celeborn

Mise à niveau vers la version 0.3.0.

Version

Date de publication

EMR-3.47.0

3 août 2023

Service

Description

Hudi

Mise à niveau vers la version 0.13.1.

Paimon

Mise à niveau vers la version 0.5-ali-1.

StarRocks

Mise à niveau vers la version 2.5.8.

JindoData

Mise à niveau vers la version 4.6.11.

Trino

• Mise à niveau vers la version 422.

• Ajout de la prise en charge de l'interrogation des tables merge on read (MOR) avec le connecteur Hudi.

• Amélioration des messages d'erreur pour le chargement dynamique des UDF.

Version

Date

EMR-3.46.1

13 juillet 2023

EMR-3.46.0 (Non disponible à l'achat)

1er juin 2023

Version

Date

EMR-3.45.1

3 avril 2023

EMR-3.45.0 (Non disponible pour les nouveaux achats)

28 février 2023

Service

Modifications

Iceberg

Mise à niveau vers la version 0.14.1.

Flink

Mise à niveau vers Flink 1.15-vvr-6.0.2, basé sur la version majeure Apache Flink 1.15.

Kafka

• Ajout de la prise en charge de l'authentification et de l'autorisation des connexions utilisateur via LDAP.

• Ajout de la prise en charge de l'autorisation par groupe d'utilisateurs.

Trino

• EMR Presto est renommé Trino, conformément à son nom officiel dans la communauté.

• Ajout de la prise en charge de Ranger et de DLF-Auth.

• Correction d'un problème entraînant l'échec des connexions aux nœuds de travail après l'activation de LDAP.

JindoSDK

Mise à niveau vers la version 4.6.2.

JindoData

Mise à niveau vers la version 4.6.2.

HBase

• Ajout de la prise en charge de Ranger.

• Correction d'un problème empêchant la sélection d'OSS-HDFS comme mode de stockage lors de l'ajout du service.

YARN

La fonctionnalité de liste de contrôle d'accès (ACL) est désormais activée par défaut en mode sécurisé.

StarRocks

Mise à niveau vers la version 2.3.4.

Doris

Mise à niveau vers la version 1.1.5.

Hudi

Ajout de la prise en charge de la configuration de hudi-defaults.conf dans la console.

Ranger

Ajout de l'intégration avec Trino, YARN, HBase et Kafka.

DLF-Auth

• Mise à niveau vers la version 2.0.2.

• Ajout de la prise en charge de Trino et d'Impala.

OpenLDAP

Intégration avec le composant Nslcd.

Kudu

L'installation du serveur TServer Kudu sur un groupe de nœuds de tâche n'est plus possible.

Spark

Mise à niveau vers la version 3.3.1.

Tez

Mise à niveau vers la version 0.10.2.

Kyuubi

Mise à niveau vers la version 1.6.0.

Version

Date

EMR-3.43.1

8 novembre 2022

EMR-3.43.0 (Non disponible pour les nouveaux achats)

14 octobre 2022

Service

Modifications

Hive

Ajout de la prise en charge de l'intégration LDAP en un clic.

Presto

• Mise à niveau vers la version communautaire 389.

  Utilisation des connecteurs autonomes de la communauté pour Delta Lake et Hudi.

  • Le connecteur Delta Lake de cette version ne prend pas en charge les fonctionnalités Time Travel ou Z-Order.

  • Le connecteur Hudi ne prend pas en charge l'interrogation des tables MOR.

• Ajout de la prise en charge de l'intégration LDAP en un clic.

Delta Lake

• Intégration avec Data Lake Formation pour la gestion automatique des tables de lac de données.

• Prise en charge de l'authentification Ranger.

• Correction d'un problème empêchant la collecte des statistiques pour les champs TIMESTAMP.

• Les commandes optimize et vacuum renvoient désormais des métriques.

Hudi

Mise à niveau vers la version 0.11.1.

Hadoop Common

Ajout du composant Hadoop Common pour résoudre les conflits de configuration entre HDFS, YARN et JindoSDK.

YARN

Amélioration de la mise à l'échelle automatique.

Ranger

• Prise en charge simultanée de Spark 2 et Spark 3.

• Prise en charge de l'intégration LDAP en un clic avec Ranger UserSync.

Kafka

Cruise Control crée désormais automatiquement les rubriques requises au démarrage.

HBase

Ajout du composant HBase, version 1.4.9.

Phoenix

Ajout du composant Phoenix, version 4.14.1.

Doris

Mise à niveau vers la version 1.1.1.

StarRocks

Mise à niveau vers la version 2.2.3.

ClickHouse

Correction d'une erreur de dépassement de mémoire (OOM) lors de la lecture de fichiers volumineux depuis Object Storage Service.

Composant

Description

JindoData

Ajouté en tant que nouveau composant dans la version 4.3.0.

JindoSDK

Mise à niveau vers la version 4.3.0.

Spark

Mise à niveau vers la version 3.2.1.

Hive

• Correction d'un problème entraînant des validations en double dans Tez lorsque l'exécution spéculative était activée.

• Correction d'un problème obligeant le rechargement d'une UDF avant son appel.

Presto

Correction d'un problème empêchant le démarrage du service Presto lorsqu'il était ajouté à un cluster Hadoop initialisé.

Delta Lake

Correction d'un problème de compatibilité avec Streaming SQL.

Hudi

Mise à niveau vers la version 0.10.1.

Iceberg

Mise à niveau vers la version 0.13.1.

YARN

• Ajout d'une option de configuration pour restreindre les Application Masters (AM) aux nœuds principaux.

• Correction d'un problème lié à l'absence de taihaodoctor dans la configuration mapreduce.map.java.opts.

ZooKeeper

Optimisation des paramètres JVM.

Flink

Adaptation pour JindoSDK 4.3.0.

Impala

Flume

Druid

Sqoop

Mise à niveau de la version PostgreSQL.

Zeppelin

Correction d'un problème empêchant le démarrage de l'interpréteur JDBC.

Ranger

Le plugin Spark Ranger 1.2.0 prend désormais en charge Hudi.

Oozie

Mise à niveau de Log4j vers la version 2.17.2.

HBase

Correction d'un problème empêchant le démarrage de RegionServer pour HBase 1.4.9.

DLF-Auth

Mise à niveau vers la version 2.0.0.

Version

Date

EMR-3.39.2

25 mars 2022

EMR-3.39.1 (Non disponible à l'achat)

15 février 2022

Version

Date de publication

EMR-3.38.3

Décembre 2021

EMR-3.38.2 (Non disponible à l'achat)

Décembre 2021

EMR-3.38.1 (Non disponible à l'achat)

Novembre 2021

EMR-3.38.0 (Non disponible à l'achat)

Octobre 2021

Version

Date de publication

EMR-3.37.1

Septembre 2021

EMR-3.37.0 (Non disponible à l'achat)

Août 2021

Service

Modification

SmartData

Mise à niveau de SmartData vers la version 3.6.1.

Pour plus d'informations, consultez la rubrique Présentation de SmartData 3.6.x.

Hive

• Mise à niveau de Hive vers la version 2.3.8.

• Correction d'un problème où la commande show create table renvoyait un résultat incorrect lors de l'utilisation des métadonnées DLF (Data Lake Formation).

• Optimisation des paramètres par défaut de Hive pour améliorer les performances des tâches.

• Les noms des paramètres ont été mis en majuscules dans l'onglet hive-env de la page Configure du service Hive dans la console EMR, afin d'améliorer l'ergonomie.

• Le message d'erreur signalé en raison de l'incompatibilité entre le système de fichiers et le metastore Hive lors de l'écriture de données dans une table Hive a été optimisé.

HDFS

Ajout de la prise en charge du format de compression Zstandard (ZSTD).

Flink

Mise à niveau de Flink vers la version 1.12-vvr-3.0.2.

Hudi

• Mise à niveau de Hudi vers la version 0.8.0.

• Ajout de la prise en charge de l'intégration avec Spark SQL.

Spark

• Optimisation des noms de paramètres dans l'onglet spark-defaults de la page Configure du service Spark dans la console EMR.

• Amélioration des performances de sortie des journaux.

• Ajout de la prise en charge du format de compression Zstandard (ZSTD).

Impala

Correction d'une erreur de vidage mémoire (core dump) survenant lors de l'utilisation de HDFS.

Tez

Optimisation des paramètres par défaut de Tez pour améliorer les performances des tâches.

Knox

• Ajout de la prise en charge de Kudu.

• Ajout de la prise en charge d'Impala.

• Ajout de la prise en charge de HBase.

Phoenix

Correction de l'erreur « JDBC Driver not found » lors de l'accès aux tables Phoenix avec Hive ou Spark SQL.

ClickHouse

Ajout d'Application Performance Management (APM) pour la surveillance et les alertes.

Service

Modification

SmartData

Mise à niveau vers la version 3.5.0.

Pour plus d'informations, consultez la rubrique Présentation de SmartData 3.5.x.

Spark

• Correction d'un problème où l'exécution adaptative ne prenait pas effet dans certains scénarios.

• Correction d'un problème où le comportement des fonctions d'agrégation statistique était incohérent avec celui de Hive.

• Correction d'un problème où les données de type CHAR étaient lues incorrectement à partir des tables ORC Hive.

HDFS

HDFS prend désormais en charge l'algorithme de chiffrement SM4.

Hue

Mise à niveau de Hue vers la version 4.9.0.

Alluxio

Mise à niveau d'Alluxio vers la version 2.5.0.

Druid

• Mise à niveau de Druid vers la version 0.20.1.

• Renforcement de la sécurité.

Livy

Mise à niveau de Livy vers la version 0.7.1.

Service

Mises à jour

SmartData

Mise à niveau vers la version 3.4.0.

Pour plus d'informations, consultez les Notes de version de SmartData 3.4.x.

Spark

• Optimisation de certaines configurations par défaut.
• Optimisation des performances : prise en charge du pushdown Window TopK.
• Amélioration de la compatibilité de Hive lors de la lecture et de l'écriture de tables CSV ou JSON.
• L'instruction ANALYZE permet désormais d'omettre tous les noms de colonnes d'une table.
• Prise en charge de l'activation ou de la désactivation de la fonctionnalité LDAP en un seul clic.
• Amélioration de l'ergonomie de l'outil Spark Beeline.

Hive

• Optimisation des configurations par défaut.

• Amélioration des performances grâce à l'optimiseur basé sur les coûts (CBO).

• Ajout d'une option permettant d'activer ou de désactiver la fonctionnalité LDAP en un seul clic.

• Mise à niveau de Calcite vers la version 1.12.0.

• Ajout du paramètre hive.security.authorization.sqlstd.confwhitelist.append.

Presto

Ajout d'une option permettant d'activer ou de désactiver la fonctionnalité LDAP en un seul clic.

YARN

Correction d'une vulnérabilité critique permettant un accès non autorisé à l'interface web Hadoop. Ce problème nécessitait de spécifier user.name=name dans l'URL lors de l'accès à l'interface web YARN via un tunnel SSH.

ZooKeeper

Mise à niveau vers la version 3.6.2.

Flink

Mise à jour du fichier config.sh lors de l'initialisation pour corriger un problème lié à HADOOP_CLASSPATH.

Impala

• Mise à niveau vers la version 3.4.0.

• Mise à niveau de Shiro vers la version 1.7.0.

• Ajout de la prise en charge des métadonnées DLF.

• Activation de l'interrogation des données au format Delta.

• Ajout d'une option permettant d'activer ou de désactiver la fonctionnalité LDAP en un seul clic.

Tez

Optimisation des configurations par défaut.

HAS

Correction d'un problème où le fichier admin.keytab échouait à se réinitialiser après une erreur lors de l'installation de HAS.

Ranger

• Le problème causé par le pushdown de filtre dans Spark est corrigé.

• Le problème empêchant l'activation de Presto après sa désactivation dans Ranger est corrigé.

• L'authentification LDAP peut être activée ou désactivée en un clic.

Knox

Correction d'un problème de connexion avec Knox pour Druid 0.20.0.

Hue

Ajout d'une option permettant d'activer ou de désactiver la fonctionnalité LDAP en un seul clic.

Hudi

• Prise en charge de la fonctionnalité SQL on Hudi.
• Correction d'un problème où les résultats des requêtes étaient inexacts pour certaines données.
• Prise en charge de l'élimination des partitions lorsque Spark interroge les tables Copy On Write dans Hudi.
• Prise en charge du mécanisme d'index de bucket pour améliorer les performances d'écriture.

Delta Lake

• Correction d'un problème où les métadonnées ne pouvaient pas être synchronisées avec le Hive Metastore pour les tables Delta existantes.
• Correction d'un problème où la commande Merge ne pouvait pas analyser *.
• Correction d'un problème où une erreur était signalée lors de la conversion de données au format Parquet en table Delta et de la création des métadonnées de la table.
• Correction d'un problème où la commande Optimize s'exécutait de manière anormale lorsqu'aucun fichier n'était en attente de compactage.
• La syntaxe Merge prend en charge l'utilisation d'une sous-requête comme source.
• Introduction d'un mécanisme de mise en cache pour améliorer l'efficacité des requêtes lorsque Presto interroge les tables Delta.
• Prise en charge de l'interrogation des tables Delta à l'aide d'Impala.

Superset

• Le problème empêchant l'utilisateur administrateur de se connecter à l'interface web est corrigé.

• Les ensembles de données sont compatibles avec les clusters Druid.

• Les ensembles de données Spark SQL ne sont plus pris en charge.

Sqoop

Activation de l'importation de fichiers Parquet vers OSS.

Alluxio

Mise à niveau vers la version 2.4.1.

Phoenix

Hive on Phoenix prend désormais en charge les paramètres de champ.

Pig

Supprimé.

Service

Description

SmartData

Mise à niveau vers la version 3.2.0.

Pour plus d'informations, consultez la rubrique Présentation de SmartData 3.2.x.

Spark

• Mise à niveau vers la version 2.4.7.

• Mise à niveau de jQuery vers la version 3.5.1.

• Ajout de la prise en charge de la mise à jour automatique des tailles des tables et des partitions Hive.

• Ajout de la prise en charge de l'exportation des métadonnées Spark et des informations d'exécution des tâches vers DataWorks.

Hive

• Mise à niveau vers la version 2.3.7.

• HCatalog prend désormais en charge Data Lake Formation.

• Ajout de la prise en charge de l'exportation des métadonnées Hive et des informations d'exécution des tâches vers DataWorks.

metastore

• Ajout de la fonctionnalité de statistiques Hive.

• HCatalog prend désormais en charge Data Lake Formation.

• Optimisation de la méthode d'obtention des jetons STS.

HDFS

Mise à niveau de jQuery vers la version 3.5.1.

YARN

• Mise à niveau de jQuery vers la version 3.5.1.

• Ajustement des configurations du planificateur équitable (Fair Scheduler).

• Optimisation du Timeline Server.

Zeppelin

Mise à niveau vers la version 0.9.0.

Ranger

• Ajout de configurations de journal d'audit pour Hive.

• Ajout de configurations pour Log4j Audit.

OpenLDAP

• Ajout d'une fonctionnalité d'audit.

• Activation par défaut du port SSL 10636.

• Ajout de l'activation en un clic pour Presto.

Knox

• Correction de vulnérabilités dans le framework Spring.

• Correction d'un problème sur la page Executors de l'interface utilisateur Spark.

• Correction d'un problème sur la page d'état des tâches de l'interface utilisateur Oozie.

Hue

Ajout de la prise en charge de Presto.

Druid

Mise à niveau vers la version 0.20.0.

EMR Hook

• Introduction en tant que nouveau service.

• hive-hook : ajout de la prise en charge de l'exportation des métadonnées Hive et des informations d'exécution des tâches vers DataWorks.

• spark-hook : ajout de la prise en charge de l'exportation des métadonnées Spark et des informations d'exécution des tâches vers DataWorks.

Service

Modification

SmartData

Mise à niveau vers la version 3.1.0.

Voir Présentation de SmartData 3.1.x.

Alluxio

• Ajout du support pour Alluxio 2.4.0.

• La configuration par défaut s'adapte à la taille des nœuds du cluster.

• Par défaut, les clusters EMR utilisent HDFS comme UnderFS, ce qui fonctionne immédiatement sans configuration supplémentaire.

• Amélioration du système de fichiers sous-jacent OSS d'Alluxio pour prendre en charge de nouvelles fonctionnalités, telles que le versioning OSS.

• Compatibilité désormais assurée avec des moteurs tels que Hadoop, Hive, Spark et Presto.

Hudi

Ajout du support pour Hudi 0.6.0.

Spark

JindoTable prend désormais en charge l'activation ou la désactivation de la collecte de données.

Hive

• Correction d'une fuite de pool de connexions dans HiveServer.

• JindoTable prend désormais en charge l'activation ou la désactivation de la collecte de données.

• Optimisation des performances de ADD COLUMN.

• Correction de lectures de données incorrectes depuis les tables Hudi.

• La configuration par défaut s'adapte à la taille des nœuds du cluster.

HDFS

Augmentation de la limite de snapshots.

YARN

La configuration par défaut s'adapte à la taille des nœuds du cluster.

Tez

La configuration par défaut s'adapte à la taille des nœuds du cluster.

Sqoop

Correction d'un problème lors de l'importation de fichiers Avro.

Service

Mises à jour

SmartData

Mise à niveau vers la version 3.0.0.

Pour plus d'informations, voir Présentation de SmartData 3.0.x.

Spark

• Ajout du support pour les métadonnées provenant d'Alibaba Cloud Data Lake Formation (DLF).

• Mise à niveau des dépendances HAS vers la version 2.0.1.

• Correction d'un problème lié aux backticks dans Streaming SQL.

• Suppression du package JAR Delta. Delta est désormais déployé séparément.

• Les chemins des journaux écrivent désormais dans HDFS.

Hive

• Ajout du support pour les métadonnées provenant d'Alibaba Cloud Data Lake Formation (DLF).

• Correction d'un problème entraînant l'écriture d'un fichier DUMMY lors de la lecture d'un répertoire vide à partir d'une table Delta.

• Mise à niveau des dépendances HAS vers la version 2.0.1.

Presto

• Ajout du support pour les métadonnées provenant d'Alibaba Cloud Data Lake Formation (DLF).

• Suppression des limitations liées à la lecture des tables Delta.

• Correction des configurations JVM manquantes en mode haute sécurité.

• Mise à niveau des dépendances HAS vers la version 2.0.1.

HDFS

• Ajout du support pour le mode de remplacement à chaud des disques.

• Mise à niveau des dépendances HAS vers la version 2.0.1.

YARN

• Correction de problèmes liés à YARN RMZKStateStore.

• Ajout du support pour les fichiers SNAPPY provenant de Log Service (SLS).

• Modification de la configuration des répertoires pour le mode local MapReduce afin de corriger un problème de vérification des autorisations de répertoire.

• Ajout du support pour le mode de remplacement à chaud des disques.

• Les journaux sont désormais écrits dans HDFS.

• Mise à niveau des dépendances HAS vers la version 2.0.1.

ZooKeeper

• Ajout du support pour la liaison des ports de service à une adresse IP interne.

• Mise à niveau des dépendances HAS vers la version 2.0.1.

Flink-Vvp

• Mise à niveau vers la version 1.11-2.2.2.

• Ajout du support pour SQL et Autopilot.

Flink

• Ajout du support pour l'écriture de données dans OSS en mode cache. Cette fonctionnalité, combinée aux points de contrôle Flink et à une source rejouable, offre une sémantique EXACTLY_ONCE.

• Synchronisation avec Apache Flink 1.11.1. SQL prend désormais en charge la sortie multi-voies (MULTI INSERT).

• Mise à niveau des dépendances HAS vers la version 2.0.1.

Impala

• Ajout du support pour la personnalisation de catalogd.flgs, impalad.flgs et statestored.flgs.

• Mise à niveau de Shiro vers la version 1.6.0.

• Mise à niveau des dépendances HAS vers la version 2.0.1.

Tez

• Optimisation des paramètres de mémoire AM par défaut.

• Mise à niveau des dépendances HAS vers la version 2.0.1.

HAS

Mise à niveau des dépendances HAS vers la version 2.0.1.

Storm

Zeppelin

Ranger

OpenLDAP

Oozie

Knox

Kafka

HUE

HBase

Druid

Service

Description

Bigboot

• Mise à niveau vers la version 2.7.301.

• Jindo DistCp prend désormais en charge l'écriture de données dans OSS en mode archive ou accès peu fréquent.

• Amélioration de Fuse pour prendre en charge plusieurs namespaces.

• Amélioration de la mise en cache des métadonnées en mode cache.

Spark

• Mise à niveau de Spark vers la version 2.4.5.2.0.

• Ajout du support pour les metastores tiers.

• Ajout du client metastore datalake.

Hive

• Mise à niveau de Hive vers la version 2.3.5.6.0.

• Ajout du support pour les metastores tiers.

• Ajout du client metastore datalake.

Presto

Mise à niveau vers la version 338.

Ranger

• Mise à niveau du package logiciel vers la version 1.2.0-1.5.0.

• Ajout du support pour Presto 338.

• Ajout d'un champ de description au fichier de configuration.

HDFS

L'espace réservé pour les DataNodes est désormais configuré de manière adaptative.

Knox

Ajout du support pour Impala, les versions ultérieures de Flink et Platform for AI (PAI).

Druid

Mise à niveau vers la version 0.18.1.

SmartData

Mise à niveau vers la version 2.7.301.

Service

Modifications

Bigboot

• Publication de JindoTable, qui prend en charge la collecte de statistiques basée sur la popularité des tables ou des partitions.

• Ajout du support pour des politiques de stockage complètes en mode de stockage par blocs et pour des politiques de stockage hiérarchisé, y compris l'accès peu fréquent et l'archive.

• Ajout de l'outil de migration de données Jindo DistCp.

• Amélioration de Jindo Fuse et correction des problèmes associés.

• Amélioration de l'intégration du schéma JFS avec le moteur Hive et Jindo JobCommitter en mode cache.

• En mode de stockage par blocs, vous pouvez désormais configurer un poids pour lire les données directement depuis OSS. Cela permet de distribuer et de réduire la charge liée à la lecture depuis le cache local.

• Découplage de JindoFS en modules logiciels distincts : Bigboot (couche de gestion), SmartData (service distribué) et JindoFS SDK. Chaque module peut être mis à niveau et maintenu indépendamment.

Service

Modifications

Flink

Mise à niveau de Flink open source vers Ververica Platform. Cette plateforme est une version personnalisée de Flink 1.10 qui offre des fonctionnalités supplémentaires, telles que le moteur de stockage propriétaire Gemini.

Bigboot

Mise à niveau vers la version 2.7.0.

Delta

• Mise à niveau vers la version 0.6.0.

• Découplage du code Delta du code Spark.

Spark

• Mise à niveau vers la version 2.4.5.

• Ajout de la compatibilité avec les scripts streaming-sql de DataFactory.

• Ajout du support pour Delta 0.6.0.

Hive

Ajout du support pour Delta 0.6.0.

Ranger

• Ajout du support pour le déploiement personnalisé de HDFS, Hive et Spark.

• Vous pouvez désormais configurer ranger-admin-site.xml et ranger-ugsync-site.xml dans la console.

HDFS

Si aucun DataNode n'est disponible lors de l'écriture de données dans HDFS, HDFS affiche désormais un message d'exception (HDFS-9023) identifiant le DataNode indisponible.

Hue

• Ajout du support pour l'installation du composant Hue sur les clusters gateway.

• Ajout du support pour le déploiement de plusieurs instances Hue sur un seul nœud.

DataFactory

Ajout du support pour Delta 0.6.0.

Druid

Mise à niveau vers la version 0.18.0.

Knox

• Mise à niveau vers la version 1.1.0-1.0.7.

• Ajout du support Knox pour l'interface utilisateur HBase.

Version

Date de publication

EMR-3.27.0

29 avril 2020

EMR-3.27.1 (non disponible à l'achat)

8 mai 2020

EMR-3.27.2 (non disponible à l'achat)

20 mai 2020

Fonctionnalité

Description

Déploiement personnalisé des services

Vous pouvez désormais personnaliser le déploiement des services sur un nœud maître. Les services suivants sont pris en charge :

• Hadoop

• Spark

• Hive

• ZooKeeper

• Presto

Arrêt gracieux pour Auto Scaling

Après avoir activé l'arrêt gracieux, EMR libère un nœud uniquement une fois que celui-ci a terminé ses tâches en cours dans le délai spécifié.

Service

Description

Spark

• Ajout de la prise en charge des champs de partition de type date dans CUBE.

• Augmentation de la profondeur de pile pour spark-submit.

Delta

• Amélioration des instructions DDL, notamment CREATE, SHOW et DESCRIBE.

• Ajout de la prise en charge de l'instruction OPTIMIZE avec Z-order.

Knox

• Knox est désormais compatible avec l'interface utilisateur de Druid.

• Ajout de la prise en charge du déploiement multi-maître.

Hive

• Ajout de la prise en charge du magic committer pour les tables HCatalog.

• Suppression des configurations par défaut obsolètes.

Bigboot

• Mise à niveau vers la version 2.6.3.

• Ajout de la prise en charge du déploiement multi-maître.

SmartData

• Mise à niveau vers la version 2.6.3.

• Ajout de la prise en charge du déploiement multi-maître.

Ranger

• Ajout de la prise en charge du service Solr.

• Ajout de la prise en charge de PrestoSQL version 311.

Tez

Ajout de la prise en charge de la définition du répertoire temporaire (scratchdir) sur OSS.

Presto

Mise à niveau vers la version 331.

Druid

Mise à niveau vers la version 0.17.1.

Superset

Mise à niveau vers la version 0.35.2.

Sqoop

• Mise à niveau du package JAR JDBC MySQL vers la version 5.1.48.

• Le mode d'exportation directe MySQL prend désormais en charge l'encodage personnalisé via le paramètre --mysql-charset.

Version

Date de publication

EMR-3.26.3 (non disponible à l'achat)

16 avril 2020

Service

Modifications

Bigboot

• Mise à niveau vers la version 2.6.3.

• Ajout de la prise en charge des métadonnées Tablestore et de la haute disponibilité des namespaces.

SmartData

Hive

Activation de la prise en charge d'un committer direct pour les tables HCatalog.

YARN

Configuration de JindoOssCommitter comme committer par défaut.

HDFS

Mise à jour des configurations liées à JindoFS.

Spark

Configuration de JindoOssCommitter comme committer par défaut.

Service

Modifications

Ranger

• Initialisation de la base de données RangerAdmin dans les clusters à haute disponibilité.

• Correction d'un problème de sécurité dans le script de démarrage RangerUserSync.

Spark

• Ajout de la prise en charge de la configuration des paramètres liés à Delta, tels que spark.sql.extensions, dans la console.

• Ajout de la prise en charge de la lecture des tables Delta via Hive sans définir le format d'entrée.

• Ajout de la prise en charge des instructions ALTER TABLE SET TBLPROPERTIES et UNSET TBLPROPERTIES.

Delta

Hive

Correction d'un problème entraînant l'échec des tâches MapReduce en mode local automatique.

Presto

• Mise à niveau vers la version 310.

• Mise à niveau de joda-time vers la version 2.10.5.

Tez

• Mise à niveau vers la version 0.9.2.

• Correction d'un problème d'affichage incorrect de la progression des applications sur l'interface utilisateur Tez.

• Correction d'un problème empêchant la consultation de l'historique des applications sur l'interface utilisateur Tez.

Impala

Correction d'un problème empêchant Impala d'accéder aux tables LZO.

HDFS

Suppression des packages JAR liés à mongo-hadoop.

ZooKeeper

Mise à niveau vers la version 3.5.6.

YARN

Vous pouvez désormais ajouter l'élément de configuration yarn.resourcemanager.system-metrics-publisher.enabled=true dans l'onglet yarn-site.xml pour prendre en charge l'interface utilisateur Tez.

Bigboot

• Mise à niveau vers la version 2.2.3.

• Ajout de la prise en charge de l'opération de renommage en mode cache OSS.

SmartData

Knox

Mise à niveau des packages de dépendances.

Oozie

Mise à niveau des packages de dépendances.

Service

Modifications

Delta

• Ajout de la prise en charge des instructions SQL, notamment ALTER, CONVERT, CREATE, CTAS, DELETE, DESC, INSERT, MERGE, OPTIMIZE, UPDATE et VACUUM.

• Intégration et optimisation de la commande OPTIMIZE.

• Ajout de la prise en charge du connecteur Hive.

• Ajout de la prise en charge d'autres fonctionnalités open source.

Grafana

Ajout du composant Grafana, version 6.4.2, pour les clusters Flink autonomes.

Prometheus

Ajout du composant Prometheus, version 2.13.0, pour les clusters Flink autonomes.

Alertmanager

Ajout du composant Alertmanager, version 0.19.0, pour les clusters Flink autonomes.

TensorFlow on Spark

• Ajout de la prise en charge du déploiement du framework TensorFlow sur Spark. Cette intégration profonde permet un processus de bout en bout, allant du prétraitement des données à l'entraînement en apprentissage profond, avec une planification des tâches et un échange de données optimisés.

• Ajout de la prise en charge des tâches de streaming.

Service

Modifications

SmartData

• Optimisation des modes d'utilisation de JindoFS. Le mode bloc reste inchangé. Le mode cache est amélioré pour assurer la compatibilité avec l'utilisation existante du système de fichiers OSS. Il prend désormais en charge la mise en cache des données et celle des métadonnées, toutes deux désactivées par défaut et configurables séparément.

• Optimisation des performances en lecture et écriture en mode bloc et en mode cache.

• Optimisation du nettoyage des disques. Le système mesure désormais plus précisément les données chaudes mises en cache sur les disques locaux et les efface plus rapidement afin de garantir que l'utilisation du disque ne dépasse pas le quota configuré.

• Amélioration de la prise en charge des clusters passerelle, permettant l'utilisation des modes bloc et cache.

• Ajout de la prise en charge d'un mode de déploiement séparant un cluster de stockage unique de plusieurs clusters de calcul.

Spark

• Ajout de la prise en charge des paramètres liés à Delta.

• Ajout de la prise en charge de la configuration du plug-in Ranger pour Spark.

• Mise à niveau de JindoCube vers la version 0.3.0.

Hive

• Ajout d'une fonctionnalité de vérification de la compatibilité SQL.

• Publication de la combinaison Hive 2.3.5 et Hadoop 2.8.5.

• Le contenu du fichier hiveserver2-site.xml n'est plus synchronisé avec le fichier hive-site.xml du répertoire spark-conf lors du redémarrage du composant.

• Ajout de la prise en charge de l'utilisation de la commande MSCK pour ajouter des répertoires incrémentiels.

• Correction d'un bug survenant lorsque Hive réutilise un conteneur Tez.

• Ajout de la prise en charge de l'utilisation de la commande MSCK pour optimiser les répertoires de colonnes.

Bigboot

Mise à niveau vers la version 2.2.1, qui corrige un problème empêchant l'exécution du code natif sur certains modèles de serveurs.

Ranger

• Refonte du mode de déploiement du plug-in Spark.

• Correction d'un bug empêchant le nœud emr-header-2 d'un cluster à haute disponibilité d'obtenir un keytab.

Kudu

Correction de la logique de démarrage.

ZooKeeper

Ajout de la configuration des commandes à quatre lettres, activées par défaut.

HDFS

Adaptation de HDFS pour JindoFS.

YARN

• Modification de la valeur par défaut de yarn.scheduler.capacity.node-locality-delay à -1.

• Adaptation de YARN pour JindoFS.

Has

Intégration avec OpenLDAP en tant que backend.

OpenLDAP

Adaptation d'OpenLDAP pour Has.

Presto

Mise à niveau vers la version 0.228.

Kafka

Introduction d'une fonctionnalité isolant automatiquement les disques défectueux dans la famille d'instances d1.

Druid

Mise à niveau vers la version 0.16.0.

Flume

Mise à niveau vers la version 1.9.0.

Flink

• Mise à niveau vers la version 1.9.1.

• Ajout de la prise en charge des clusters Flink autonomes (disponible via liste blanche).

Service

Description

Druid

• Mise à niveau vers la version 0.15.1.

• Ajout du composant router.

• Mise à niveau de fastjson.

Spark

• Correction d'un problème de class loader dans le serveur spark thrift.

• Amélioration de la stabilité du code lié aux transactions dans Spark.

• Correction des problèmes de lecture/écriture avec le format ORC après la mise à niveau de Hive intégré vers la version 2.3.

• Ajout de la prise en charge de la syntaxe MERGE INTO.

• Ajout de la prise en charge de la syntaxe SCAN et STREAM.

• Le connecteur Kafka pour Structured Streaming prend désormais en charge la sémantique Exactly-Once (EOS).

• Mise à niveau de Delta vers la version 0.4.0.

Hive

• Suppression des anciens hooks Hive.

• Optimisation pour les déséquilibres de données dans les requêtes contenant plusieurs champs COUNT(DISTINCT).

• Correction d'un problème de perte de données lors de la jointure de tables avec différentes versions de bucket.

Flink

Mise à niveau vers la version 1.8.2.

Bigboot

• Mise à jour de l'outil de gestion des petits fichiers.

• Correction d'un problème dans le JAR OSS qui provoquait le maintien actif d'un thread non daemon.

Kafka

• Ajout de la prise en compte des Deployment Sets.

• Suppression de la dépendance fastjson.

HDFS

• Optimisation de la logique de déploiement du JAR SmartData OSS.

• Mise à jour du JAR SmartData OSS.

Flume

Mise à niveau de fastjson.

Tensorflow on Spark

Ajout de Tensorflow on Spark.

Has

Mise à niveau de fastjson.

Livy

Mise à niveau de fastjson.

Composant

Modifications

Kudu

• Ajout du composant Kudu. Kudu comble une lacune dans l'écosystème Hadoop. Il offre une insertion, une modification et un accès aléatoire rapides aux données, similaires à HBase, et prend en charge l'analyse et les requêtes de données à grande échelle comme HDFS ou Parquet.

  • Fournit des API C++ et Java pour le développement personnalisé.

  • Fournit une intégration avec Impala, Spark et Hive Metastore.

• Cette version est basée sur Apache Kudu 1.10.0 open source.

OpenLDAP

• Ajout du composant OpenLDAP pour remplacer ApacheDS. ApacheDS est désormais obsolète.

• Prise en charge de la haute disponibilité.

Composant

Description

JindoFileSystem

• Modes de stockage multiples

  • Mode bloc : dans ce mode, les données sont stockées sous forme de blocs dans OSS en backend, et le service Namespace local conserve les métadonnées. Ce mode offre des performances supérieures pour les opérations sur les métadonnées et les données. Le mode bloc prend en charge diverses politiques de stockage, notamment WARM (réplicas locaux et OSS), COLD (réplica OSS uniquement), HOT (plusieurs réplicas locaux et un réplica OSS), TEMP (réplica local uniquement) et ALL_HDD (plusieurs réplicas locaux). La politique par défaut est WARM. Vous pouvez définir différentes politiques de stockage pour les répertoires en fonction de vos scénarios d'application.

  • Mode cache : ce mode est principalement compatible avec les méthodes de stockage OSS existantes. En mode cache, les fichiers sont stockés en tant qu'objets dans OSS. Selon les modèles d'accès, les données et les métadonnées sont mises en cache localement pour améliorer les performances d'accès. Ce mode fournit diverses politiques de synchronisation des métadonnées pour différents scénarios.

• Prise en charge des clients externes

  • Le SDK client vous permet d'accéder au système de fichiers JindoFS depuis l'extérieur d'un cluster E-MapReduce. Vous pouvez utiliser le client pour accéder au namespace en mode bloc. Cependant, les clients externes ne peuvent pas utiliser le cache de données au sein du cluster E-MapReduce, ce qui entraîne des performances inférieures à celles d'un accès depuis l'intérieur du cluster.

  • Le mode cache conserve la sémantique de stockage OSS d'origine et accélère la mise en cache des données au sein d'un cluster E-MapReduce en utilisant JindoFS. Par conséquent, vous pouvez accéder directement aux données depuis l'extérieur du cluster E-MapReduce en utilisant un client OSS, tel que le SDK OSS ou OssFileSystem d'E-MapReduce.

• Prise en charge des composants de l'écosystème

  • JindoFS prend désormais en charge divers moteurs de calcul dans E-MapReduce, tels que Spark, Flink, Hive, MapReduce, Impala et Presto.

  • Dans les scénarios de séparation du stockage et du calcul, JindoFS peut stocker les journaux de tâches, tels que les journaux des conteneurs YARN et les journaux d'événements Spark.

  • JindoFS peut être utilisé comme stockage backend pour les HFiles HBase afin d'étendre la capacité de stockage de HBase.

OssFileSystem

• Ajout d'un mécanisme automatique pour détecter les disques défectueux et prévenir les échecs d'écriture du cache résultants vers OSS.

• Ajout des configurations requises pour OssFileSystem.

Bigboot

• Mise à niveau vers la version 2.0.0.

• Inclut des mises à jour majeures telles que la prise en charge de plusieurs namespaces, le stockage des blocs de données locaux sous forme de grands fichiers, le stockage multimode et les clients externes.

• Correction d'un problème où le moniteur Bigboot affichait un statut incorrect lors d'un redémarrage du serveur.

• Ajout d'une spécification de service pour le composant Kudu.

• Ajout de la validation de l'exactitude des spécifications de service.

Hadoop

• HDFS

  • Adaptation pour HDFS Federation. Vous pouvez désormais créer un cluster HDFS Federation en utilisant des configurations personnalisées et des opérations API. Cela évite le reformatage du NameNode lors de la création d'un cluster Federation.

  • Optimisation de la logique de détection des disques défectueux. Pour les scénarios de disque local, vous pouvez exécuter la commande dfsadmin pour déclencher un rapport de bloc DataNode.

• YARN

  Correction d'un problème où la liste des tâches MapReduce JobHistory n'était pas mise à jour lorsque les journaux des conteneurs de tâches MR étaient stockés dans JindoFS ou OSS.

Spark

• Cache relationnel

  Ajout de la prise en charge du cache relationnel pour accélérer les requêtes utilisateur grâce au pré-calcul. Vous pouvez créer un cache relationnel pour pré-calculer les données. Lorsqu'une requête est exécutée, Spark Optimizer trouve automatiquement un cache approprié, réécrit le plan d'exécution SQL et poursuit le calcul basé sur les données mises en cache pour améliorer la vitesse de requête. Cette fonctionnalité convient aux scénarios tels que les rapports, les tableaux de bord, la synchronisation des données et l'analyse multidimensionnelle.

  • Prend en charge les opérations CACHE, UNCACHE, ALTER et SHOW en utilisant des instructions DDL. Les données mises en cache prennent en charge toutes les sources de données et formats de données dans Spark.

  • Prend en charge les mises à jour automatiques des données du cache et les mises à jour manuelles en utilisant la commande REFRESH. Les mises à jour incrémentielles basées sur les partitions sont également prises en charge.

  • Prend en charge l'optimisation du plan d'exécution basée sur le cache relationnel.

• SQL en streaming

  • Normalisation de la configuration des paramètres de Stream Query Writer.

  • Optimisation de la vérification de compatibilité du schéma pour les tables de données Kafka.

  • Un schéma est automatiquement créé dans Schema Registry si aucun schéma n'existe pour une table de données Kafka.

  • Amélioration des messages de journal pour l'incompatibilité de schéma Kafka.

  • Correction d'un problème où les noms de colonnes devaient être explicitement spécifiés lors de l'écriture des résultats de requête dans une table Kafka.

  • Suppression de la restriction selon laquelle les requêtes SQL en streaming ne prennent en charge que Kafka et Loghub comme sources d'entrée de données.

• Delta

  Ajout de la prise en charge de Delta. Vous pouvez utiliser Spark pour créer une source de données Delta afin de prendre en charge des scénarios tels que les écritures de données en streaming, les lectures et écritures transactionnelles, la validation des données et le time travel. Pour plus d'informations, consultez la documentation Delta.

  • Prend en charge la lecture et l'écriture de données depuis et vers Delta en utilisant l'API DataFrame.

  • Prend en charge l'utilisation de Delta comme source ou destination pour la lecture ou l'écriture de données en utilisant l'API Structured Streaming.

  • Prend en charge les opérations update, delete, merge, vacuum et optimize en utilisant l'API Delta.

  • Prend en charge la création de tables basées sur Delta, l'importation de données vers Delta et la lecture de tables Delta en utilisant SQL.

• Autres mises à jour

  • Ajout de la prise en charge des contraintes, y compris les clés primaires et étrangères.

  • Résolution des conflits de packages JAR servlet et autres.

Flink

Rétablissement de la configuration de journalisation log4j.

Kafka

• Rétablissement de la configuration de journalisation log4j.

• Mise à niveau de fastjson.

Zeppelin

Mise à niveau du package de dépendance commons-lang3 vers la version 3.7 pour corriger un problème empêchant PySpark d'écrire dans OSS. Pour plus d'informations, consultez Incompatibilité de Spark 2.4 avec commons-lang3 dans Zeppelin.

Ranger

Ajout de la prise en charge de l'instruction SHOW GRANTS.

Analytics-Zoo

Correction d'une erreur d'installation de NumPy.

Impala

Impala est désormais compatible avec Apache Kudu 1.10.0.

Presto

Mise à niveau vers la version 0.221.

ZooKeeper

Mise à niveau vers la version 3.5.5.