EMR 5.x series release notes - E-MapReduce - Centre de documentation Alibaba Cloud

Notes de version de la série EMR 5.x, incluant les dates de publication, les mises à jour des composants et les corrections de bugs pour chaque version. Pour connaître les composants pris en charge dans chaque version, consultez la rubrique Versions publiées.

EMR-5,21.x

Date de publication

Version

Date

EMR-5.21.0

27 octobre 2025

Nouveautés

Service	Modifications
Hive	Ajout d'un mécanisme Profile qui détecte automatiquement les formats de fichiers du stockage lac de données, tels que ORC, et applique les paramètres de tampon et de prélecture optimisés par JindoSDK. Introduction d'un mécanisme de prélecture des bandes (Stripes) ORC pour améliorer le débit lors du traitement de fichiers ORC de taille moyenne à grande. Cette fonctionnalité permet de chevaucher le calcul et les E/S en préchargeant de manière asynchrone les bandes suivantes pendant que la bande actuelle est traitée. Ajout de la prise en charge de la lecture vectorisée ORC. Les opérations telles que la lecture des données d'index ORC ou l'exécution du pushdown de prédicats peuvent générer de nombreuses plages de fichiers dispersées et non contiguës. La lecture vectorisée regroupe ces requêtes pour améliorer considérablement le débit. Intégration de l'API de métadonnées par lots de JindoSDK. Cette fonctionnalité augmente le débit des requêtes de métadonnées en regroupant les requêtes telles que `getFileStatus`.
Spark	Ajout d'un mécanisme Profile qui détecte automatiquement les formats de fichiers du stockage lac de données, tels que ORC, et applique les paramètres de tampon et de prélecture optimisés par JindoSDK. Introduction d'un mécanisme de prélecture des bandes (Stripes) ORC pour améliorer le débit lors du traitement de fichiers ORC de taille moyenne à grande. Cette fonctionnalité permet de chevaucher le calcul et les E/S en préchargeant de manière asynchrone les bandes suivantes pendant que la bande actuelle est traitée. Ajout de la prise en charge de la pré-ouverture parallèle des petits fichiers. Cette fonctionnalité détecte automatiquement les scénarios de requête impliquant de petits fichiers et ouvre préalablement un lot de fichiers en parallèle pour réduire considérablement la latence des E/S due aux ouvertures de fichiers fréquentes. Ajout de la prise en charge de la lecture vectorisée ORC. Les opérations telles que la lecture des données d'index ORC ou l'exécution du pushdown de prédicats peuvent générer de nombreuses plages de fichiers dispersées et non contiguës. La lecture vectorisée regroupe ces requêtes pour améliorer considérablement le débit.
Tez	Ajout de la prise en charge de la pré-ouverture parallèle des petits fichiers. Cette fonctionnalité détecte automatiquement les scénarios de requête impliquant de petits fichiers et ouvre préalablement un lot de fichiers en parallèle pour réduire considérablement la latence des E/S due aux ouvertures de fichiers fréquentes.
Ranger	Jindoauth Server prend en charge les rôles RAM personnalisés pour les clients qui accèdent à Object Storage Service (OSS). Correction des dépendances manquantes dans `Ranger-yarn-plugin`.
Paimon	Mise à niveau vers la version 1-ali-16.3.
JindoCache	Mise à niveau vers la version 6.10.1.
Delta Lake	Introduction de Delta Lake en tant que nouveau composant, version 3.2.1.

Informations sur la version

Data lake cluster

Service

Version

Hadoop-Common

3.2.1

HDFS

3.2.1

OSS-HDFS

1.0.0

Hive

3.1.3

Spark2

2.4.8

Spark3

3.5.3

Tez

0.10.2

Trino

422

Delta Lake

3.2.1

Hudi

0.15.0

Iceberg

1.5.0

Flume

1.11.0

Kyuubi

1.9.2

YARN

3.2.1

OpenLDAP

2.4.46

Ranger

2.3.0

Ranger plugin

1.0.0

DLF-Auth

2.0.2

Presto

0 283

ZooKeeper

3.8.4

Sqoop

1.4.7

Knox

1.5.0

Celeborn

0.5.2

JindoCache

6.10.1

Paimon

1-ali-16,3

OLAP cluster

Service

Version

StarRocks2

2.5.22

StarRocks3

3.2.11

Doris

2.1.4

ClickHouse

23.3.13.6

ZooKeeper

3.8.4

Dataflow cluster

Service

Version

Hadoop-Common

3.2.1

HDFS

3.2.1

OSS-HDFS

1.0.0

YARN

3.2.1

OpenLDAP

2.4.46

ZooKeeper

3.8.4

Knox

1.5.0

Flink

1.17.2

Paimon

1-ali-6,2

Data serving cluster

Service

Version

Hadoop-Common

3.2.1

HDFS

3.2.1

OSS-HDFS

1.0.0

OpenLDAP

2.4.46

Ranger

2.3.0

Ranger plugin

1.0.0

ZooKeeper

3.8.4

Knox

1.5.0

HBase

2.6.3

JindoCache

6.8.2

Phoenix

5.2.1

Custom cluster

Service

Version

Hadoop-Common

3.2.1

HDFS

3.2.1

OSS-HDFS

1.0.0

Hive

3.1.3

Spark2

2.4.8

Spark3

3.5.3

Tez

0.10.2

Trino

422

Delta Lake

3.2.1

Hudi

0.15.0

Iceberg

1.5.0

Flume

1.11.0

Kyuubi

1.9.2

YARN

3.2.1

OpenLDAP

2.4.46

Ranger

2.3.0

Ranger plugin

1.0.0

DLF-Auth

2.0.2

Presto

0 283

StarRocks2

2.5.22

StarRocks3

3.2.11

ZooKeeper

3.8.4

Sqoop

1.4.7

Knox

1.5.0

Celeborn

0.5.2

Flink

1.17.2

HBase

2.6.3

JindoCache

6.10.1

Paimon

1-ali-16,3

Phoenix

5.2.1

EMR-5,20.x

Date de publication

Version

Date

EMR-5.20.0

10 juillet 2025

Nouveautés

Service

Modifications

Hive

Amélioration des performances lors de l'ajout de colonnes aux tables partitionnées.

YARN

Amélioration de l'ordonnancement global pour empêcher certaines applications de dégrader les performances du cluster.

Versions des composants

DataLake

Service

Version

Hadoop-Common

3.2.1

HDFS

3.2.1

OSS-HDFS

1.0.0

Hive

3.1.3

Spark2

2.4.8

Spark3

3.5.3

Tez

0.10.2

Trino

422

Hudi

0.15.0

Iceberg

1.5.0

Flume

1.11.0

Kyuubi

1.9.2

YARN

3.2.1

OpenLDAP

2.4.46

Ranger

2.3.0

Ranger-plugin

1.0.0

DLF-Auth

2.0.2

Presto

0 283

ZooKeeper

3.8.4

Sqoop

1.4.7

Knox

1.5.0

Celeborn

0.5.2

JindoCache

6.8.2

Paimon

1-ali-6,2

OLAP

Service

Version

StarRocks2

2.5.22

StarRocks3

3.2.11

Doris

2.1.4

ClickHouse

23.3.13.6

ZooKeeper

3.8.4

DataFlow

Service

Version

Hadoop-Common

3.2.1

HDFS

3.2.1

OSS-HDFS

1.0.0

YARN

3.2.1

OpenLDAP

2.4.46

ZooKeeper

3.8.4

Knox

1.5.0

Flink

1.17.2

Paimon

1-ali-6,2

DataServing

Service

Version

Hadoop-Common

3.2.1

HDFS

3.2.1

OSS-HDFS

1.0.0

OpenLDAP

2.4.46

Ranger

2.3.0

Ranger-plugin

1.0.0

ZooKeeper

3.8.4

Knox

1.5.0

HBase

2.6.3

JindoCache

6.8.2

Phoenix

5.2.1

Custom

Service

Version

Hadoop-Common

3.2.1

HDFS

3.2.1

OSS-HDFS

1.0.0

Hive

3.1.3

Spark2

2.4.8

Spark3

3.5.3

Tez

0.10.2

Trino

422

Hudi

0.15.0

Iceberg

1.5.0

Flume

1.11.0

Kyuubi

1.9.2

YARN

3.2.1

OpenLDAP

2.4.46

Ranger

2.3.0

Ranger-plugin

1.0.0

DLF-Auth

2.0.2

Presto

0 283

StarRocks2

2.5.22

StarRocks3

3.2.11

ZooKeeper

3.8.4

Sqoop

1.4.7

Knox

1.5.0

Celeborn

0.5.2

Flink

1.17.2

HBase

2.6.3

JindoCache

6.8.2

Paimon

1-ali-6,2

Phoenix

5.2.1

EMR-5,19.x

Date de publication

Version

Date

EMR-5.19.0

24 avril 2025

Mises à jour

Service	Modifications
Trino	Correction d'un problème de disponibilité LDAP.
YARN	Optimisation de la planification globale pour une allocation des ressources plus efficace. Ajout de la surveillance des métriques pour les services HTTP. Correction d'un bogue open source (YARN-10213).
HBase	Mise à niveau vers la version 2.6.3. L'environnement d'exécution par défaut est désormais Java 11. Le garbage collector G1 est défini comme option par défaut.
Phoenix	Mise à niveau vers la version 5.2.1.
JindoCache	Mise à niveau vers la version 6.8.2.
StarRocks	Activation de la création de clusters avec séparation du calcul et du stockage.
EMRHOOK	Prise en charge de Spark 3.5 ajoutée. Suivi de la lignée des données activé pour les tables Paimon. Amélioration de la stabilité.

Versions des composants

Cluster DataLake

Service

Version

Hadoop-Common

3.2.1

HDFS

3.2.1

OSS-HDFS

1.0.0

Hive

3.1.3

Spark2

2.4.8

Spark3

3.5.3

Tez

0.10.2

Trino

422

Hudi

0.15.0

Iceberg

1.5.0

Flume

1.11.0

Kyuubi

1.9.2

YARN

3.2.1

OpenLDAP

2.4.46

Ranger

2.3.0

Ranger-plugin

1.0.0

DLF-Auth

2.0.2

Presto

0 283

ZooKeeper

3.8.4

Sqoop

1.4.7

Knox

1.5.0

Celeborn

0.5.2

JindoCache

6.8.2

Paimon

1-ali-6,2

Cluster OLAP

Service

Version

StarRocks2

2.5.22

StarRocks3

3.2.11

Doris

2.1.4

ClickHouse

23.3.13.6

ZooKeeper

3.8.4

Cluster DataFlow

Service

Version

Hadoop-Common

3.2.1

HDFS

3.2.1

OSS-HDFS

1.0.0

YARN

3.2.1

OpenLDAP

2.4.46

ZooKeeper

3.8.4

Knox

1.5.0

Flink

1.17.2

Paimon

1-ali-6,2

Cluster DataServing

Service

Version

Hadoop-Common

3.2.1

HDFS

3.2.1

OSS-HDFS

1.0.0

OpenLDAP

2.4.46

Ranger

2.3.0

Ranger-plugin

1.0.0

ZooKeeper

3.8.4

Knox

1.5.0

HBase

2.6.3

JindoCache

6.8.2

Phoenix

5.2.1

Cluster personnalisé

Service

Version

Hadoop-Common

3.2.1

HDFS

3.2.1

OSS-HDFS

1.0.0

Hive

3.1.3

Spark2

2.4.8

Spark3

3.5.3

Tez

0.10.2

Trino

422

Hudi

0.15.0

Iceberg

1.5.0

Flume

1.11.0

Kyuubi

1.9.2

YARN

3.2.1

OpenLDAP

2.4.46

Ranger

2.3.0

Ranger-plugin

1.0.0

DLF-Auth

2.0.2

Presto

0 283

StarRocks2

2.5.22

StarRocks3

3.2.11

ZooKeeper

3.8.4

Sqoop

1.4.7

Knox

1.5.0

Celeborn

0.5.2

Flink

1.17.2

HBase

2.6.3

JindoCache

6.8.2

Paimon

1-ali-6,2

Phoenix

5.2.1

EMR-5,18.x

Date de publication

Version

Date

EMR-5.18.1

18 décembre 2024

EMR-5.18.0 (Non disponible à l'achat)

4 décembre 2024

Mises à jour

Service	Description
Spark 3	Mise à niveau vers la version 3.5.3. Correction d'un problème de configuration survenant lors du scale-out.
Trino	Correction des échecs de connexion survenant après l'activation de LDAP.
Presto
ZooKeeper	Prise en charge de la configuration personnalisée ajoutée.
Ranger	Remplacement du plugin Ranger Spark 3 existant par celui du projet open source Kyuubi.
Hudi	Mise à niveau vers la version 0.15.0.
Celeborn	Mise à niveau vers la version 0.5.2.
Paimon	Mise à niveau vers la version 1.0-ali-1.
JindoCache	Mise à niveau vers la version 6.5.3.
StarRocks 3	Mise à niveau vers la version 3.2.11.
StarRocks 2	Mise à niveau vers la version 2.5.22.
Impala	Ces services ne sont plus disponibles. Utilisez une alternative recommandée ou installez le service manuellement. Pour Impala, utilisez Presto, Trino, ClickHouse ou StarRocks.
Kudu
Kafka
Kafka-Manager

EMR-5,17.x

Date de publication

Version

Date de publication

EMR-5.17.4

18 décembre 2024

EMR-5.17.3 (Non disponible pour les nouveaux achats)

29 novembre 2024

EMR-5.17.2 (Non disponible pour les nouveaux achats)

29 août 2024

EMR-5.17.1 (Non disponible pour les nouveaux achats)

21 juin 2024

EMR-5.17.0 (Non disponible pour les nouveaux achats)

23 avril 2024

Mises à jour

EMR-5.17.4

Service

Modifications

JindoCache

Mise à niveau vers la version 6.5.3.

StarRocks 2

Mise à niveau vers la version 2.5.22.

StarRocks 3

Mise à niveau vers la version 3.2.11.

EMR-5.17.3

Service

Modifications

JindoSDK

Mise à niveau de JindoSDK pour corriger un interblocage.

EMR-5.17.2

Service	Modifications
JindoCache	Mise à niveau vers la version 6.5.1. Amélioration des performances en lecture et en écriture de la table de hachage distribuée (DHT).
Spark	Résolution d'un problème empêchant la suppression des répertoires de partition. Résolution d'un problème de dépendance de package Hive pour éviter que les opérations client n'interrompent la connexion du client metastore.
Trino	Résolution d'un problème entraînant la réversion des configurations modifiées lors d'un scale-out. Prise en charge de l'interrogation des données sur OSS-HDFS à haute sécurité ajoutée. Résolution d'une exception de service causée par l'activation de DLF-Auth.
Presto	Prise en charge de l'interrogation des données sur OSS-HDFS à haute sécurité ajoutée.
HDFS	Résolution d'un problème empêchant la modification de la mémoire des NameNode et DataNode.
HBase-HDFS
YARN	Le ResourceManager prend désormais en charge l'envoi groupé d'événements de chronologie, ce qui améliore la capacité de traitement. Résolution d'un problème logique dans le traitement des conteneurs et des ressources par le ResourceManager.
ZooKeeper	Résolution d'un problème empêchant la modification des configurations de mémoire pour un groupe de nœuds. Prise en charge de la restructuration des fichiers de configuration des journaux ajoutée.
Impala	Résolution d'un problème où le scaling automatique modifiait incorrectement les configurations clientes.
Ranger	Prise en charge du nouveau noyau JindoSDK ajoutée, réduisant considérablement l'utilisation du CPU.
Knox	Résolution d'un problème rendant l'URL du composant inaccessible lorsqu'un seul groupe de nœuds Master-Extend existait.
Kafka	Résolution d'un problème empêchant le démarrage des clusters Kafka Connect.
StarRocks	Résolution d'un problème où les nouveaux BE n'apparaissaient pas après un scale-out.
Doris	Mise à niveau vers la version 2.1.4.
Paimon	Mise à niveau vers la version 0.9-ali-7.
EMR-HOOK	Prise en charge de l'analyse de la lignée des données à partir des tables MaxCompute ajoutée.

EMR-5.17.1

Service	Modifications
Spark	Prise en charge du déploiement des groupes de nœuds Master-Extend ajoutée.
Hive
Kyuubi
Paimon	Remplacement de la dépendance Flink sur l'édition VVR par l'édition communautaire et ajout de la prise en charge de DLF Catalog.
Knox	Empaqueté avec JDK 8.
Flink	Restauration des configurations et dépendances DLF supprimées dans EMR-5.17.0.

EMR-5.17.0

Service	Modifications
Spark	Mise à niveau de Spark 3 vers la version 3.4.2.
Celeborn	Mise à niveau vers la version 0.4.0.
Doris	Mise à niveau vers la version 2.1.0.
StarRocks	Mise à niveau de StarRocks 2 vers la version 2.5.18. Mise à niveau de StarRocks 3 vers la version 3.2.4.
Delta Lake	Mise à niveau vers la version 3.0.0.
Iceberg	Mise à niveau vers la version 1.5.0.
ZooKeeper	Mise à niveau vers la version 3.8.4.
JindoCache	Mise à niveau vers la version 6.2.5.
Flink	Mise à niveau vers la version 1.17.2.

EMR-5,16.x

Date de publication

Version

Date

EMR-5.16.0

19 février 2024

Mises à jour

Service	Mise à jour
Hudi	Mise à niveau vers la version 0.14.0.
Flume	Mise à niveau vers la version 1.11.0.
Kyuubi	Mise à niveau vers la version 1.7.3.
Impala	Mise à niveau vers la version 4.3.0.
Celeborn	Mise à niveau vers la version 0.3.2.
JindoCache	Mise à niveau vers la version 6.2.0.
Paimon	Mise à niveau vers la version 0.7-ali-1.
Kafka	Mise à niveau vers la version 3.6.1.
StarRocks	Mise à niveau de StarRocks2 vers la version 2.5.13. Mise à niveau de StarRocks3 vers la version 3.1.5.
Spark	Correction d'une vulnérabilité dans Commons Text.
Ranger	Les vulnérabilités de la bibliothèque Commons Text sont corrigées. La vulnérabilité de contournement des autorisations de correspondance de chemin d'accès dans le framework Spring Security est corrigée. La vulnérabilité de contournement de l'authentification forward/include dans le framework Spring Security est corrigée. La vulnérabilité de contournement de l'authentification d'identité dans un mode de correspondance spécial du framework Spring est corrigée. L'intervalle auquel Ranger obtient les informations utilisateur depuis le serveur LDAP (Lightweight Directory Access Protocol) et met à jour ces informations peut être modifié.

EMR-5,15.x

Date de publication

Version

Date

EMR-5.15.1

16 novembre 2023

EMR-5.15.0 (non disponible à l'achat)

27 octobre 2023

Mises à jour

Service

Description

JindoCache

Ajout du service JindoCache, version 6.1.1.

JindoData

JindoData n'est plus disponible. Vous pouvez utiliser le service JindoCache pour la mise en cache et DLF-Auth pour l'authentification.

Spark

Suppression des configurations liées à jdo du fichier hive-site.xml.

HBase

Ajout d'une option permettant de sélectionner la version du serveur HBase Thrift (v1 ou v2).

StarRocks

Mise à niveau de StarRocks vers la version 2.5.10.

Doris

Mise à niveau de Doris vers la version 1.2.7.

Celeborn

Mise à niveau de Celeborn vers la version 0.3.1.

Paimon

Mise à niveau de Paimon vers la version 0.6-ali-2.

ClickHouse

Mise à niveau de ClickHouse vers la version 23.3.13.6.

EMR-5,14.x

Date de publication

Version

Date

EMR-5.14.2

17 août 2023

Mises à jour

Service	Modifications
Trino	Correction d'un problème empêchant le connecteur Paimon d'interroger les tables HDFS. Correction d'un problème empêchant la lecture des métriques des nœuds de travail.
Presto	Mise à niveau vers la version 0.283. Correction d'un problème empêchant la lecture des métriques des nœuds de travail.
ClickHouse	L'utilisateur par défaut dispose désormais de toutes les autorisations par défaut.
StarRocks	Le service StarRocks précédent a été renommé en StarRocks2. Ajout de StarRocks3 (version 3.1.2), qui utilise par défaut une architecture intégrée de calcul et de stockage. L'architecture de séparation du calcul et du stockage n'est pas encore prise en charge.
Celeborn	Mise à niveau vers la version 0.3.0.

EMR-5,13.x

Date de publication

Version

Date de publication

EMR-5.13.0

3 août 2023

Mises à jour

Service	Description
Hudi	Mise à niveau vers la version 0.13.1.
Paimon	Mise à niveau vers la version 0.5-ali-1.
StarRocks	Mise à niveau vers la version 2.5.8.
JindoData	Mise à niveau vers la version 4.6.11.
Trino	Mise à niveau vers la version 422. Le connecteur Hudi prend désormais en charge l'interrogation des tables Merge on Read (MOR). Amélioration des messages d'erreur lors du chargement dynamique des fonctions définies par l'utilisateur (UDF).

EMR-5,12.x

Date de publication

Version

Date

EMR-5.12.1

13 juillet 2023

EMR-5.12.0 (non disponible à l'achat)

1er juin 2023

Mises à jour

EMR-5.12.1

Service	Description
Spark	Spark History Server utilise désormais OSS-HDFS pour le stockage par défaut. Le moteur natif Spark3 prend désormais en charge OSS et OSS-HDFS pour le stockage.
Hive	L'entrepôt Hive utilise désormais OSS-HDFS pour le stockage par défaut.
OSS-HDFS	Désormais disponible en tant que nouveau service.
YARN	YARN utilise désormais OSS-HDFS pour le stockage par défaut.
HBase	HBase utilise désormais OSS-HDFS pour stocker les données HFile par défaut. HBase prend désormais en charge le stockage des journaux de pré-écriture (WAL) sur OSS-HDFS.

EMR-5.12.0

Service	Description
Kyuubi	Mise à niveau vers la version 1.7.1.
Celeborn	Mise à niveau vers la version 0.2.2.
Paimon	Flink Table Store est renommé en Paimon. Mise à niveau vers la version 0.4-ali-1.
StarRocks	Mise à niveau vers la version 2.5.5.
Doris	Mise à niveau vers la version 1.2.4.
ClickHouse	Mise à niveau vers la version 23.3.2.37.
Trino	Trino inclut désormais un écouteur d'événements par défaut pour la récupération des journaux d'audit.
Phoenix	Phoenix prend désormais en charge Hive on Phoenix.

EMR-5,11.x

Date de publication

Version

Date

EMR-5.11.1

3 avril 2023

EMR-5.11.0 (non disponible à l'achat)

28 février 2023

Mises à jour

EMR-5.11.1

Service

Modifications

ClickHouse

Mise à niveau vers la version 22.8.14.53.

Trino

Ajout du connecteur odps.properties pour interroger MaxCompute.

JindoData

Mise à niveau vers la version 4.6.5.

JindoSDK

Mise à niveau vers la version 4.6.5.

Flink Table Store

Mise à niveau vers la version 0.3-ali-2.

YARN

Ajout de la prise en charge des étiquettes de nœud.

EMR-5.11.0

Service	Modifications
Iceberg	Mise à niveau vers la version 1.1.0.
Hudi	Mise à niveau vers la version 0.12.2. Ajout de la prise en charge de la capture des données modifiées (CDC).
Delta Lake	Mise à niveau vers la version 2.2.0. Enregistrement désormais des opérations de vacuum dans le journal des transactions.
Kudu	Mise à niveau vers la version 1.16.0.
ClickHouse	L'installation de ClickHouse nécessite désormais le service ZooKeeper.
Celeborn	Remote Shuffle Service (RSS) est renommé en Celeborn. La version initiale est la 0.2.0.
Presto	Ajout de Presto en tant que nouveau service. Son noyau est basé sur la version communautaire Facebook PrestoDB 0.278.3. Les ports par défaut sont 8889 (HTTP) et 7779 (HTTPS).
StarRocks	Mise à niveau vers la version 2.5.1.
Doris	Mise à niveau vers la version 1.2.1.
Kafka Manager	Mise à niveau vers la version 3.0.0.6.
Impala	Mise à niveau vers la version 4.2.0.
OpenLDAP	Mise à niveau vers la version 2.4.46.
HBase	Ajout de la prise en charge de JDK 11. Ajout de la prise en charge de ThriftServer 2. La valeur par défaut du paramètre hbase.block.data.cachecompressed est désormais true.
Flink Table Store	Ajout de Flink Table Store en tant que nouveau service, basé sur la version communautaire 0,3.
JindoData	Mise à niveau vers la version 4.6.4.

EMR-5,10.x

Date de publication

EMR-5.10.0 : 1er décembre 2022

Mises à jour

Service	Description
Iceberg	Mise à niveau vers la version 0.14.1.
Flink	Mise à niveau vers Flink 1.15-vvr-6.0.2, basée sur la version majeure Apache Flink 1.15.
Kafka	Prise en charge de l'authentification et de l'autorisation LDAP. Prise en charge de l'autorisation par groupe d'utilisateurs.
Trino	Le composant EMR Presto a été renommé Trino pour s'aligner sur le nom officiel de la communauté. Prise en charge de Ranger et de DLF-Auth. Correction d'un problème entraînant l'échec des connexions aux nœuds de travail après l'activation de LDAP.
JindoSDK	Mise à niveau vers la version 4.6.2.
JindoData	Mise à niveau vers la version 4.6.2.
HBase	Prise en charge de Ranger. Correction d'un problème empêchant la sélection d'OSS-HDFS comme mode de stockage lors de l'ajout d'un service.
YARN	La liste de contrôle d'accès (ACL) est activée par défaut en mode sécurisé.
StarRocks	Mise à niveau vers la version 2.4.1.
Doris	Mise à niveau vers la version 1.1.5.
Hudi	Vous pouvez désormais configurer hudi-defaults.conf dans la console.
Ranger	Mise à niveau vers la version 2.3.0. Prise en charge de l'intégration avec Trino, YARN, HBase et Kafka.
DLF-Auth	Mise à niveau vers la version 2.0.2. Prise en charge de Trino et d'Impala.
OpenLDAP	Intégration désormais effective avec le composant Nslcd.
Kudu	L'installation de Kudu Tserver dans les groupes de nœuds de tâche n'est plus possible.
Spark	Mise à niveau vers la version 3.3.1.
Tez	Mise à niveau vers la version 0.10.2.
Kyuubi	Mise à niveau vers la version 1.6.0.

EMR-5,9.x

Date de publication

Version

Date

EMR-5.9.1

8 novembre 2022

EMR-5.9.0 (Non disponible pour les nouveaux achats)

14 octobre 2022

Mises à jour

EMR-5.9.1

Service	Modifications
Kerberos	Prise en charge de la connexion à un KDC externe.
Kafka	Ajout d'une option de configuration permettant de personnaliser les paramètres de démarrage du service.
JindoData	Mise à niveau vers la version 4.6.0. Prise en charge de la réécriture des chemins d'accès OSS-HDFS.
Flink	Mise à niveau vers la version 1.13_vvr_4.0.15.
RSS	Mise à niveau vers la version 0.1.4.

EMR-5.9.0

Service	Modifications
Spark	Mise à niveau vers la version 3.3. Prise en charge de l'authentification Kerberos.
Hudi	Mise à niveau vers la version 0.12.0. Prise en charge de Spark 3.3. Permet d'utiliser un metastore cloud pour héberger les métadonnées et d'activer la fonctionnalité d'accélération. Pour plus d'informations, consultez Instructions d'utilisation du metastore Hudi.
Flink	Prise en charge de l'authentification Kerberos. Prise en charge de la connexion automatique à Data Lake Formation (DLF).
Iceberg	Mise à niveau vers la version 0.14.0. Prise en charge de Spark 3.3. Prise en charge de l'authentification Kerberos.
JindoData	Mise à niveau vers la version 4.5.1. Prise en charge de l'accès aux ressources Alibaba Cloud sans utiliser de paire AccessKey.
Hadoop Common et HDFS	Prise en charge de l'authentification Kerberos. Correction de la vulnérabilité CVE-2022-25168.
Knox	Intégration avec Ranger, permettant d'accéder à l'interface utilisateur Ranger depuis l'onglet Access Links and Ports.
HBase	Mise à niveau vers la version 2.4.9. Prise en charge de l'authentification Kerberos. Prise en charge de la configuration des groupes de nœuds.
RSS	Mise à niveau vers la version 0.1.2. Prise en charge de l'authentification Kerberos.
Doris	Mise à niveau vers la version 1.1.2. Prise en charge de l'authentification Kerberos.
StarRocks	Mise à niveau vers la version 2.3.2. Prise en charge de l'authentification Kerberos.
Kafka	Mise à niveau vers la version 2.13_3.2.1. Prise en charge de l'authentification Kerberos.
Delta Lake	Possibilité de mise à niveau vers la version 2.1.0. Prise en charge de Spark 3.3. Prise en charge de l'authentification Kerberos.
Impala	Prise en charge de la création de vues dans Data Lake Formation (DLF). Prise en charge de l'authentification Kerberos.
Kudu	Ajout en tant que nouveau composant (version 1.14.0).
YARN, Ranger, Hive, Kyuubi, Tez, ZooKeeper, DLF-Auth, Phoenix, Sqoop et Presto	Prise en charge de l'authentification Kerberos.

EMR-5,8.x

Date de publication

EMR-5.8.0 : 5 août 2022

Mises à jour

Service	Modifications
Spark	Prise en charge de l'authentification LDAP.
Hive	Prise en charge de l'authentification LDAP.
Presto	Mise à niveau vers la version communautaire 389. Utilisation des connecteurs Delta Lake et Hudi autonomes fournis par la communauté. Le connecteur Delta Lake ne prend pas en charge le time travel ni Z-Order. Le connecteur Hudi ne prend pas en charge l'interrogation des tables MOR. Prise en charge de l'authentification LDAP.
Delta Lake	Intégration avec Data Lake Formation (DLF) pour la gestion automatisée des tables de lac de données. Correction d'un problème lié à la synchronisation automatique des informations de partition dans les scénarios CTAS. Les commandes OPTIMIZE et VACUUM renvoient désormais des métriques.
Hudi	Mise à niveau vers la version 0.11.1.
Hadoop Common	Ajout du composant Hadoop Common pour résoudre les problèmes de remplacement de configuration entre HDFS, YARN et JindoSDK.
YARN	Amélioration de la mise à l'échelle automatique.
Ranger	Prise en charge simultanée de Spark 2 et Spark 3. Prise en charge de l'authentification LDAP pour Ranger UserSync.
Kafka	Introduction de Kafka 2.12-2.4.1 en tant que nouveau composant.
HBase	Introduction de HBase 2.3.4 en tant que nouveau composant.
Phoenix	Introduction de Phoenix 5.1.2 en tant que nouveau composant.
Doris	Mise à niveau vers la version 1.1.1.
StarRocks	Mise à niveau vers la version 2.3.0. Le modèle de clé primaire prend en charge la syntaxe complète `DELETE WHERE`, la persistance des index de clé primaire pour réduire l'utilisation de la mémoire, etc.
ClickHouse	Mise à niveau vers la version 22.3.8.39. Correction d'une erreur d'épuisement de la mémoire (OOM) lors de la lecture de fichiers volumineux depuis Object Storage Service.

EMR-5,6.x

Date de publication

EMR-5.6.0 : 21 avril 2022

Mises à jour

Service

Modifications

JindoData

Nouveau composant : 4.3.0.

JindoSDK

Mise à niveau vers la version 4.3.0.

Spark

Mise à niveau vers la version 3.2.1.

Hive

Résolution d'un problème provoquant des validations en double dans Hive on Tez lorsque l'exécution spéculative était activée.

Presto

Résolution d'un problème empêchant le démarrage du service Presto après son ajout à un cluster Hadoop initialisé.

Delta Lake

Les instructions DML prennent désormais en charge les sous-requêtes.

Hudi

Mise à niveau vers la version 0.10.1.

Iceberg

Mise à niveau vers la version 0.13.1.

YARN

Ajout d'une configuration restreignant l'exécution des ApplicationMasters aux nœuds principaux uniquement.

HBase

Correction d'un bogue dans le noyau HBase 2.3.4.

ZooKeeper

Optimisation des paramètres JVM.

Impala

Ajout de la prise en charge de JindoSDK 4.3.0.

Sqoop

Mise à niveau de PostgreSQL.

Zeppelin

Résolution d'un problème provoquant l'échec du démarrage de l'interpréteur JDBC.

Ranger

Le plugin Spark Ranger 1.2.0 prend désormais en charge Delta Lake et Hudi.

Flume

Ajout de la prise en charge de JindoSDK 4.3.0.

Oozie

Mise à niveau de Log4j vers la version 2.17.2.

DLF-Auth

Mise à niveau vers la version 2.0.0.

EMR-5,5.x

Date de publication

Version

Date

EMR-5.5.1

25 mars 2022

EMR-5.5.0 (non disponible pour les nouveaux achats)

15 février 2022

Mises à jour

EMR-5.5.1

Remarque

Cette version est prise en charge uniquement pour les clusters OLAP dans la nouvelle console.

Service

Mises à jour

ClickHouse

Mise à jour des valeurs de paramètres par défaut.

StarRocks

Mise à niveau vers la version 2.1.1.

EMR-5.5.0

Service	Mises à jour
SmartData	Obsolète.
Bigboot	Obsolète.
RSS	Le service EMR Remote Shuffle Service (ESS) a été remplacé par RSS. Amélioration des fonctionnalités et de la stabilité.
JindoSDK	Migration de l'architecture vers JindoData. Intégration de JindoSDK 4.0, avec ajout de la prise en charge d'OSS et du service Alibaba Cloud OSS-HDFS.
Spark	Ajout de la prise en charge des expressions IF dans COUNT DISTINCT et optimisation de l'utilisation de CASE WHEN. Définissez le paramètre spark.sql.optimizer.rewriteConditionalDistinctAggregates sur true. Activation du basculement de Shuffle Hash Join vers Sort Merge Join. Définissez le paramètre spark.sql.join.preferSortMergeJoin sur false et le paramètre spark.sql.join.enableShuffledHashJoinFallback sur true. Activation de la fusion automatique des petits fichiers pour les partitions non dynamiques. Définissez le paramètre spark.sql.adaptive.merge.output.small.files.enabled sur true. Ajustement automatique de la concurrence pour les scénarios tels que GROUPING SETS et DISTINCT. Définissez le paramètre spark.sql.execution.optimizeExpand sur true. Optimisation de Hive on Spark. Ajout de la prise en charge de la syntaxe time travel. Ajout de la prise en charge de JindoSDK.
Tez	Ajout de la prise en charge de JindoSDK.
Hive	Correction d'un problème de suppression par lot dans Hive Jindo. Correction d'un problème de dépassement de mémoire (OOM) dans HiveServer2. Optimisation de Hive on Spark. Ajout de la prise en charge de JindoSDK.
Presto	Mise à niveau de Presto vers la version communautaire 358. Ajout par défaut des connecteurs MySQL, Iceberg, Hudi, Phoenix, Kudu et Delta, ainsi que mise à jour de leurs configurations par défaut. Ajout de la prise en charge de l'analyse des data lakes. Ajout de la prise en charge du chargement dynamique des UDF. Ajout de la prise en charge de JindoSDK.
Delta Lake	Mise à niveau de la version Mise à niveau vers la version 1.1.0, compatible avec Spark 3.2.0. Migration de toutes les fonctionnalités commerciales vers la version 1.1.0. Gestion des métadonnées Optimisation de la synchronisation des modifications de métadonnées vers le metastore. Signalement automatique des statistiques de table (profilage des données) au metastore. SQL Ajout de la prise en charge de la syntaxe time travel. Ajout de la prise en charge de la syntaxe SQL DROP PARTITION. Ajout de la prise en charge de l'écrasement des partitions dynamiques via SQL. Ajout de la prise en charge des opérations ADD COLUMN à des positions spécifiées (FIRST et AFTER). Amélioration des capacités de gestion des tables Activation de l'ajustement dynamique de la taille des fichiers en fonction de la taille de la table. Cette fonctionnalité est activée par défaut. Activation du nettoyage (vacuuming) automatique et concurrent. Le nettoyage automatique est activé par défaut. Optimisation de la logique de compaction automatique. Cette fonctionnalité est désactivée par défaut. Introduction de la syntaxe Z-order et accélération du processus de Z-ordering.
Hudi	Mise à niveau vers la version 0.10.0. Ajout de la prise en charge de Spark 3.2.0. Ajout de la prise en charge du mode bloc JindoFS.
HDFS	Ajout de la prise en charge de JindoSDK.
YARN	Ajout de la prise en charge des configurations de mémoire RSS. Ajout de la prise en charge de JindoSDK.
Flume	Ajout de la prise en charge de JindoSDK.
Impala	Ajout de la prise en charge de JindoSDK.
Ranger	Ajout de la prise en charge de Spark 3.2.0. Ajout de la prise en charge de Presto 358.
HBase	Correction des paramètres par défaut incorrects. Correction d'un problème lié au format de date dans les journaux de garbage collection (GC).
ClickHouse	Ajout des types de disque HDFS et OSS pour prendre en charge la hiérarchisation des données. Pour plus d'informations, consultez Utiliser HDFS pour la hiérarchisation des données et Utiliser OSS pour la hiérarchisation des données. Les moteurs de la famille Replicated*MergeTree prennent désormais en charge les opérations zero-copy pour les types de disque OSS, HDFS et S3. Optimisation du processus d'arrêt du composant ClickHouse.
Iceberg	Mise à niveau vers la version 0.13.0. Ajout de la prise en charge de Presto 358.
DLF-Auth	Ajout de la prise en charge de Spark 3.2.0. Ajout de la prise en charge de Presto 358.

EMR-5,4.x

Date de publication

Version

Date

EMR-5.4.3

Décembre 2021

EMR-5.4.2 (Non disponible pour les nouveaux achats)

Décembre 2021

EMR-5.4.1 (Non disponible pour les nouveaux achats)

Novembre 2021

EMR-5.4.0 (Non disponible pour les nouveaux achats)

Octobre 2021

Mises à jour

EMR-5.4.3

Cette version corrige la vulnérabilité de sécurité Log4j dans tous les composants concernés. Pour plus d'informations, consultez Bulletin de sécurité | Vulnérabilité d'exécution de code à distance Apache Log4j 2.

Service	Modifications
Presto	Correction de la vulnérabilité Log4j dans le connecteur Elasticsearch.
DLF Metastore	Désactivation de la journalisation du metastore par défaut. Correction d'une erreur causée par un URI getTableStats excessivement long.
Delta Lake	Correction d'un problème empêchant la synchronisation des modifications de schéma vers le metastore.
Sqoop	Correction d'un problème de perte de précision avec le type de données DECIMAL lors de l'importation de données dans les tables HCatalog.

EMR-5.4.2

Service	Modifications
SmartData	SmartData est mis à jour vers la version 3.8.0. Pour plus d'informations, consultez Présentation de SmartData 3.8.x. L'authentification et l'autorisation basées sur Kerberos et Ranger peuvent être utilisées pour gérer les autorisations sur les données dans OSS.

EMR-5.4.1

Service

Modifications

SmartData

Mise à niveau de SmartData vers la version 3.7.3. Pour plus d'informations, consultez Présentation de SmartData 3.7.x.

Oozie

Correction d'un problème empêchant le démarrage du serveur Oozie Jetty dans les environnements haute disponibilité (HA) en raison de conflits de JAR de dépendances.

Impala

Correction d'une no such method error qui se produisait lors de l'interrogation des tables de métadonnées DLF.

DLF-Auth

Mise à niveau de DLF-Auth vers la version 1.0.1.

EMR-5.4.0

Service	Modifications
SmartData	Mise à niveau de SmartData vers la version 3.7.2. Pour plus d'informations, consultez Présentation de SmartData 3.7.x.
Spark	Mise à niveau de Spark vers la version 3.1.2. Dans Spark 3.x, les performances de calcul Distinct sont optimisées pour Spark SQL. L'optimisation est déclenchée si un opérateur d'agrégation contient plusieurs méthodes `count(distinct case ... when ...)`. L'erreur d'indice de tableau hors limites renvoyée lorsque certaines statistiques requises pour l'exécution adaptative des requêtes (AQE) sont manquantes est corrigée. Les erreurs liées à AQE et à la mise en cache des données dans certains scénarios sont corrigées.
Hive	Hive on JindoFS (Block) prend en charge l'optimisation des métadonnées par lot. Cette fonctionnalité est désactivée par défaut.
Presto	Ajout de la prise en charge de l'interrogation des tables Delta Lake à l'aide d'un gestionnaire de stockage.
Delta Lake	Mise à niveau de Delta Lake vers la version 1.0.0. Unification des connecteurs delta pour Hive 2 et Hive 3. Correction d'une erreur dans les connecteurs delta lors de l'interrogation de tables partitionnées à plusieurs niveaux. Ajout de la prise en charge SQL pour des fonctionnalités telles que Data Skipping, OPTIMIZE et Z-Ordering. Ajout de la prise en charge de la synchronisation des métadonnées vers un metastore.
Hudi	Hudi est mis à jour vers la version 0.9.0. Le problème de compatibilité de sql.extension entre Delta Lake et Hudi est corrigé. Remarque Prend en charge Spark 3.1.2.
HDFS	L'espace réservé par défaut pour un NameNode augmente désormais de manière adaptative afin de garantir que le NameNode entre rapidement en mode sécurisé lorsque l'espace disque est faible.
Storm	Le composant Storm est devenu obsolète.
Zeppelin	Mise à niveau de Zeppelin vers la version communautaire 0.10.0.
Hue	Correction d'un problème empêchant parfois le navigateur de tâches YARN d'afficher ou de terminer les tâches. Activation du navigateur de tâches YARN dans la configuration par défaut. Activation du protocole Presto dans la configuration par défaut.
Druid	Le problème suivant est corrigé : après un arrêt inattendu du serveur, le nœud concerné ne redémarre pas car un fichier PID n'est pas supprimé.
ClickHouse	Mise à jour de la configuration par défaut. Ajout de la prise en charge de l'extension de cluster. Ajout de la prise en charge de la fonctionnalité MetaChecker. Ajout de la prise en charge de la lecture des données à l'aide du moteur de table OSS et de la fonction de table OSS.
Iceberg	Mise à niveau d'Iceberg vers la version 0.12.0-1.0.1. Correction des erreurs de dépendance d'exécution Hive.
Knox	Le problème selon lequel le premier accès à l'interface utilisateur Spark échoue est corrigé.
DLF-Auth	Le service est ajouté. Les autorisations d'utilisation de Hive ou Spark pour accéder à DLF peuvent être configurées. La version du service est 1.0.0.

EMR-5,3.x

Date de publication

Version

Date

EMR-5.3.1

Septembre 2021

EMR-5.3.0 (non disponible pour les nouveaux achats)

Août 2021

Mises à jour

EMR-5.3.1

Service	Modifications
SmartData	Mise à niveau de SmartData vers la version 3.7.1.
Hue	Correction d'un problème empêchant l'utilisation d'Impala dans les clusters à haute sécurité.
Kudu	Ajout du support de Kerberos.
HBase	Correction d'un problème provoquant des temps de redémarrage excessifs pour HBase dans les clusters à haute sécurité. Résolution d'un échec d'intégration avec Spark 3.1.1. Optimisation du processus d'arrêt gracieux.

EMR-5.3.0

Service	Modifications
SmartData	Mise à niveau de SmartData vers la version 3.7.0.
Spark	Correction d'un problème de compatibilité avec Delta Lake.
Hive	Hive sur JindoFS (mode de stockage par blocs) prend en charge l'optimisation groupée des métadonnées. Cette fonctionnalité est désactivée par défaut.
Delta Lake	Ajout du support du partitionnement Delta Lake. Correction d'un problème de compatibilité entre la commande `desc detail` et Spark 3.1.1.
YARN	Ajout des informations d'utilisation des ressources appId, CPU et mémoire à l'API REST des conteneurs de nœuds. Correction d'un problème rendant les journaux Application Master (AM) inaccessibles sur les nœuds libérés par Auto Scaling. Correction d'un problème où les données historiques du State Store provoquaient une indisponibilité du cluster. Ajout du support du nettoyage des nœuds libérés lors d'une mise hors service par Auto Scaling. Amélioration de la logique de mise hors service gracieuse pour Auto Scaling. Une mise hors service est désormais marquée comme terminée uniquement après la fin du processus NodeManager (NM).
ZooKeeper	Mise à niveau de ZooKeeper vers la version communautaire 3.6.3.
Flink	Ajout du composant SmartData à Flink. Correction d'un problème lié à l'accès sans mot de passe à Object Storage Service (OSS) pour les tâches soumises à un cluster Dataflow Flink via SSH.
Impala	Correction d'une boucle infinie causée par la suppression directe d'un répertoire de partition Object Storage Service (OSS).
Hue	Correction des problèmes d'affichage de l'interface utilisateur liés à l'intégration Hue et Oozie.
Kudu	Mise à niveau de Kudu vers la version communautaire 1.14.0.
ClickHouse	Ajout du composant ClickHouse, version 21.3.13.9.
Iceberg	Ajout du composant Iceberg, version 0.12.0.

EMR-5,2.x

Date de publication

EMR-5.2.1 : 16 juillet 2021

Mises à jour

Service	Mise à jour
SmartData	Mise à niveau de SmartData vers la version 3.6.1. Pour plus d'informations, consultez Présentation de SmartData 3.6.x.
Hive	Correction d'un problème où la commande `show create table` renvoyait des résultats incorrects lors de l'utilisation des métadonnées DLF. Optimisation des paramètres Hive par défaut pour améliorer les performances des tâches. Mise en majuscule des noms des éléments de configuration dans l'onglet hive-env de la page Configure du service Hive dans la console EMR, afin d'améliorer l'utilisabilité. Correction d'une fuite de mémoire dans HiveServer2 causée par les UDF (fonctions définies par l'utilisateur). Amélioration du message d'erreur pour les opérations d'écriture dans une table Hive lorsque le système de fichiers et le metastore sont incohérents.
HDFS	Ajout du support du format de compression Zstandard.
Delta Lake	Mise à niveau de Delta Lake vers la version 0.8.0. Ajout du support de Spark 3.
Flink	Mise à niveau de Flink vers la version 1.12-vvr-3.0.2.
Hudi	Mise à niveau de Hudi vers la version 0.8.0. Ajout du support de l'intégration avec Spark SQL.
Spark	Important Dans EMR-5.2.1, Spark (3.1.1) est incompatible avec Kudu (1.11.1). Ajout du support des formats de lac de données Delta Lake et Hudi. Ajout du support de Remote Shuffle Service. Ajout du support de Livy. Amélioration des noms des éléments de configuration dans l'onglet spark-defaults de la page Configure du service Spark dans la console EMR. Optimisation de fonctionnalités telles que l'optimisation basée sur les coûts (CBO), l'élagage dynamique des partitions (DPP) et Z-order, améliorant les performances de 50 % par rapport à Spark 3 open source. Ajout du support de sources de données telles que Log Service, DataHub et Message Queue for Apache RocketMQ (ONS).
Tez	Optimisation des paramètres Tez par défaut pour améliorer les performances des tâches.
Ranger	Correction des messages d'avertissement dans les journaux Spark lorsque Ranger est activé. Correction des échecs de synchronisation des utilisateurs lors de la connexion à un serveur LDAP.
Knox	Ajout du support du composant Kudu. Ajout du support du composant HBase.
Kafka	Ajout du support du composant Cruise Control pour l'équilibrage des clusters Kafka. Les disques des clusters Kafka sont désormais remplaçables à chaud. Vous pouvez remplacer un disque endommagé sans arrêter le broker Kafka. Modification des valeurs par défaut de certains paramètres.
Phoenix	Correction d'une erreur « JDBC driver not found » survenant lors de l'accès aux tables Phoenix via Hive ou Spark SQL.
EMR Remote Shuffle Service (ESS)	Ajout du support de Spark 3.