Catatan rilis seri EMR 5.x - E-MapReduce - Alibaba Cloud Documentation Center

EMR-5.21.x

Tanggal rilis

Versi	Tanggal
EMR-5.21.0	27 Oktober 2025

Fitur baru

Layanan	Perubahan
Hive	Menambahkan mekanisme Profile yang secara otomatis mendeteksi format file penyimpanan lake, seperti ORC, dan menerapkan parameter buffer serta pre-read yang dioptimalkan oleh JindoSDK. Memperkenalkan mekanisme prefetch Stripe ORC untuk meningkatkan throughput saat memproses file ORC berukuran menengah hingga besar. Fitur ini mengoverlap komputasi dan I/O dengan melakukan prefetch Stripe berikutnya secara asinkron selama Stripe saat ini sedang diproses. Menambahkan dukungan untuk pembacaan vektorisasi ORC. Operasi seperti membaca data indeks ORC atau melakukan predicate pushdown dapat menghasilkan banyak rentang file yang tersebar dan tidak berurutan. Pembacaan vektorisasi mengelompokkan permintaan ini untuk secara signifikan meningkatkan throughput. Mengintegrasikan API metadata batch JindoSDK. Fitur ini meningkatkan throughput permintaan metadata dengan mengelompokkan permintaan seperti `getFileStatus`.
Spark	Menambahkan mekanisme Profile yang secara otomatis mendeteksi format file penyimpanan lake, seperti ORC, dan menerapkan parameter buffer serta pre-read yang dioptimalkan oleh JindoSDK. Memperkenalkan mekanisme prefetch Stripe ORC untuk meningkatkan throughput saat memproses file ORC berukuran menengah hingga besar. Fitur ini mengoverlap komputasi dan I/O dengan melakukan prefetch Stripe berikutnya secara asinkron selama Stripe saat ini sedang diproses. Menambahkan dukungan untuk pre-opening file kecil secara paralel. Fitur ini secara otomatis mendeteksi skenario kueri file kecil dan membuka sejumlah file secara paralel untuk secara signifikan mengurangi latensi I/O akibat seringnya membuka file. Menambahkan dukungan untuk pembacaan vektorisasi ORC. Operasi seperti membaca data indeks ORC atau melakukan predicate pushdown dapat menghasilkan banyak rentang file yang tersebar dan tidak berurutan. Pembacaan vektorisasi mengelompokkan permintaan ini untuk secara signifikan meningkatkan throughput.
Tez	Menambahkan dukungan untuk pre-opening file kecil secara paralel. Fitur ini secara otomatis mendeteksi skenario kueri file kecil dan membuka sejumlah file secara paralel untuk secara signifikan mengurangi latensi I/O akibat seringnya membuka file.
Ranger	Jindoauth Server mendukung RAM Roles kustom untuk klien yang mengakses Object Storage Service (OSS). Memperbaiki dependensi yang hilang dalam `Ranger-yarn-plugin`.
Paimon	Ditingkatkan ke versi 1-ali-16.3.
JindoCache	Ditingkatkan ke versi 6.10.1.
Delta Lake	Memperkenalkan Delta Lake sebagai komponen baru, versi 3.2.1.

Informasi rilis

Kluster data lake

Layanan	Versi
Hadoop-Common	3.2.1
HDFS	3.2.1
OSS-HDFS	1.0.0
Hive	3.1.3
Spark2	2.4.8
Spark3	3.5.3
Tez	0.10.2
Trino	422
Delta Lake	3.2.1
Hudi	0.15.0
Iceberg	1.5.0
Flume	1.11.0
Kyuubi	1.9.2
YARN	3.2.1
OpenLDAP	2.4.46
Ranger	2.3.0
Ranger plugin	1.0.0
DLF-Auth	2.0.2
Presto	0.283
ZooKeeper	3.8.4
Sqoop	1.4.7
Knox	1.5.0
Celeborn	0.5.2
JindoCache	6.10.1
Paimon	1-ali-16.3

Kluster OLAP

Layanan	Versi
StarRocks2	2.5.22
StarRocks3	3.2.11
Doris	2.1.4
ClickHouse	23.3.13.6
ZooKeeper	3.8.4

Kluster Dataflow

Layanan	Versi
Hadoop-Common	3.2.1
HDFS	3.2.1
OSS-HDFS	1.0.0
YARN	3.2.1
OpenLDAP	2.4.46
ZooKeeper	3.8.4
Knox	1.5.0
Flink	1.17.2
Paimon	1-ali-6.2

Kluster penyajian data

Layanan	Versi
Hadoop-Common	3.2.1
HDFS	3.2.1
OSS-HDFS	1.0.0
OpenLDAP	2.4.46
Ranger	2.3.0
Ranger plugin	1.0.0
ZooKeeper	3.8.4
Knox	1.5.0
HBase	2.6.3
JindoCache	6.8.2
Phoenix	5.2.1

Kluster Kustom

Layanan	Versi
Hadoop-Common	3.2.1
HDFS	3.2.1
OSS-HDFS	1.0.0
Hive	3.1.3
Spark2	2.4.8
Spark3	3.5.3
Tez	0.10.2
Trino	422
Delta Lake	3.2.1
Hudi	0.15.0
Iceberg	1.5.0
Flume	1.11.0
Kyuubi	1.9.2
YARN	3.2.1
OpenLDAP	2.4.46
Ranger	2.3.0
Ranger plugin	1.0.0
DLF-Auth	2.0.2
Presto	0.283
StarRocks2	2.5.22
StarRocks3	3.2.11
ZooKeeper	3.8.4
Sqoop	1.4.7
Knox	1.5.0
Celeborn	0.5.2
Flink	1.17.2
HBase	2.6.3
JindoCache	6.10.1
Paimon	1-ali-16.3
Phoenix	5.2.1

EMR-5.20.x

Tanggal rilis

Versi	Tanggal
EMR-5.20.0	10 Juli 2025

Fitur baru

Layanan	Perubahan
Hive	Meningkatkan performa saat menambahkan kolom ke tabel partisi.
YARN	Meningkatkan penjadwalan global untuk mencegah aplikasi tertentu menurunkan performa kluster.

Versi komponen

DataLake

Layanan	Versi
Hadoop-Common	3.2.1
HDFS	3.2.1
OSS-HDFS	1.0.0
Hive	3.1.3
Spark2	2.4.8
Spark3	3.5.3
Tez	0.10.2
Trino	422
Hudi	0.15.0
Iceberg	1.5.0
Flume	1.11.0
Kyuubi	1.9.2
YARN	3.2.1
OpenLDAP	2.4.46
Ranger	2.3.0
Ranger-plugin	1.0.0
DLF-Auth	2.0.2
Presto	0.283
ZooKeeper	3.8.4
Sqoop	1.4.7
Knox	1.5.0
Celeborn	0.5.2
JindoCache	6.8.2
Paimon	1-ali-6.2

OLAP

Layanan	Versi
StarRocks2	2.5.22
StarRocks3	3.2.11
Doris	2.1.4
ClickHouse	23.3.13.6
ZooKeeper	3.8.4

DataFlow

Layanan	Versi
Hadoop-Common	3.2.1
HDFS	3.2.1
OSS-HDFS	1.0.0
YARN	3.2.1
OpenLDAP	2.4.46
ZooKeeper	3.8.4
Knox	1.5.0
Flink	1.17.2
Paimon	1-ali-6.2

DataServing

Layanan	Versi
Hadoop-Common	3.2.1
HDFS	3.2.1
OSS-HDFS	1.0.0
OpenLDAP	2.4.46
Ranger	2.3.0
Ranger-plugin	1.0.0
ZooKeeper	3.8.4
Knox	1.5.0
HBase	2.6.3
JindoCache	6.8.2
Phoenix	5.2.1

Kustom

Layanan	Versi
Hadoop-Common	3.2.1
HDFS	3.2.1
OSS-HDFS	1.0.0
Hive	3.1.3
Spark2	2.4.8
Spark3	3.5.3
Tez	0.10.2
Trino	422
Hudi	0.15.0
Iceberg	1.5.0
Flume	1.11.0
Kyuubi	1.9.2
YARN	3.2.1
OpenLDAP	2.4.46
Ranger	2.3.0
Ranger-plugin	1.0.0
DLF-Auth	2.0.2
Presto	0.283
StarRocks2	2.5.22
StarRocks3	3.2.11
ZooKeeper	3.8.4
Sqoop	1.4.7
Knox	1.5.0
Celeborn	0.5.2
Flink	1.17.2
HBase	2.6.3
JindoCache	6.8.2
Paimon	1-ali-6.2
Phoenix	5.2.1

EMR-5.19.x

Tanggal rilis

Versi	Tanggal
EMR-5.19.0	24 April 2025

Pembaruan

Layanan	Perubahan
Trino	Memperbaiki masalah ketersediaan LDAP.
YARN	Mengoptimalkan penjadwalan global untuk alokasi sumber daya yang lebih efisien. Menambahkan pemantauan metrik untuk layanan HTTP. Memperbaiki bug open-source (YARN-10213).
HBase	Ditingkatkan ke versi 2.6.3. Mengubah lingkungan runtime default menjadi Java 11. Menetapkan pengumpul sampah G1 sebagai default.
Phoenix	Ditingkatkan ke versi 5.2.1.
JindoCache	Ditingkatkan ke versi 6.8.2.
StarRocks	Mengaktifkan pembuatan kluster terpisah komputasi-penyimpanan.
EMRHOOK	Menambahkan dukungan untuk Spark 3.5. Mengaktifkan pelacakan alur data untuk tabel Paimon. Stabilitas yang lebih baik.

Versi komponen

Kluster DataLake

Layanan	Versi
Hadoop-Common	3.2.1
HDFS	3.2.1
OSS-HDFS	1.0.0
Hive	3.1.3
Spark2	2.4.8
Spark3	3.5.3
Tez	0.10.2
Trino	422
Hudi	0.15.0
Iceberg	1.5.0
Flume	1.11.0
Kyuubi	1.9.2
YARN	3.2.1
OpenLDAP	2.4.46
Ranger	2.3.0
Ranger-plugin	1.0.0
DLF-Auth	2.0.2
Presto	0.283
ZooKeeper	3.8.4
Sqoop	1.4.7
Knox	1.5.0
Celeborn	0.5.2
JindoCache	6.8.2
Paimon	1-ali-6.2

Kluster OLAP

Layanan	Versi
StarRocks2	2.5.22
StarRocks3	3.2.11
Doris	2.1.4
ClickHouse	23.3.13.6
ZooKeeper	3.8.4

Kluster DataFlow

Layanan	Versi
Hadoop-Common	3.2.1
HDFS	3.2.1
OSS-HDFS	1.0.0
YARN	3.2.1
OpenLDAP	2.4.46
ZooKeeper	3.8.4
Knox	1.5.0
Flink	1.17.2
Paimon	1-ali-6.2

Kluster DataServing

Layanan	Versi
Hadoop-Common	3.2.1
HDFS	3.2.1
OSS-HDFS	1.0.0
OpenLDAP	2.4.46
Ranger	2.3.0
Ranger-plugin	1.0.0
ZooKeeper	3.8.4
Knox	1.5.0
HBase	2.6.3
JindoCache	6.8.2
Phoenix	5.2.1

Kluster Kustom

Layanan	Versi
Hadoop-Common	3.2.1
HDFS	3.2.1
OSS-HDFS	1.0.0
Hive	3.1.3
Spark2	2.4.8
Spark3	3.5.3
Tez	0.10.2
Trino	422
Hudi	0.15.0
Iceberg	1.5.0
Flume	1.11.0
Kyuubi	1.9.2
YARN	3.2.1
OpenLDAP	2.4.46
Ranger	2.3.0
Ranger-plugin	1.0.0
DLF-Auth	2.0.2
Presto	0.283
StarRocks2	2.5.22
StarRocks3	3.2.11
ZooKeeper	3.8.4
Sqoop	1.4.7
Knox	1.5.0
Celeborn	0.5.2
Flink	1.17.2
HBase	2.6.3
JindoCache	6.8.2
Paimon	1-ali-6.2
Phoenix	5.2.1

EMR-5.18.x

Tanggal rilis

Versi	Tanggal
EMR-5.18.1	18 Desember 2024
EMR-5.18.0 (Tidak tersedia untuk pembelian)	4 Desember 2024

Pembaruan

Layanan	Deskripsi
Spark 3	Ditingkatkan ke versi 3.5.3. Memperbaiki masalah konfigurasi yang terjadi saat scale-out.
Trino	Memperbaiki kegagalan koneksi yang terjadi setelah LDAP diaktifkan.
Presto
ZooKeeper	Menambahkan dukungan untuk konfigurasi kustom.
Ranger	Mengganti plugin Ranger Spark 3 yang ada dengan plugin dari proyek open-source Kyuubi.
Hudi	Ditingkatkan ke versi 0.15.0.
Celeborn	Ditingkatkan ke versi 0.5.2.
Paimon	Ditingkatkan ke versi 1.0-ali-1.
JindoCache	Ditingkatkan ke versi 6.5.3.
StarRocks 3	Ditingkatkan ke versi 3.2.11.
StarRocks 2	Ditingkatkan ke versi 2.5.22.
Impala	Layanan-layanan ini tidak lagi tersedia. Gunakan alternatif yang direkomendasikan atau instal layanan secara manual. Untuk Impala, gunakan Presto, Trino, ClickHouse, atau StarRocks.
Kudu
Kafka
Kafka-Manager

EMR-5.17.x

Tanggal rilis

Versi	Tanggal rilis
EMR-5.17.4	18 Desember 2024
EMR-5.17.3 (Tidak tersedia untuk pembelian baru)	29 November 2024
EMR-5.17.2 (Tidak tersedia untuk pembelian baru)	29 Agustus 2024
EMR-5.17.1 (Tidak tersedia untuk pembelian baru)	21 Juni 2024
EMR-5.17.0 (Tidak tersedia untuk pembelian baru)	23 April 2024

Pembaruan

EMR-5.17.4

Layanan	Perubahan
JindoCache	Ditingkatkan ke versi 6.5.3.
StarRocks 2	Ditingkatkan ke versi 2.5.22.
StarRocks 3	Ditingkatkan ke versi 3.2.11.

EMR-5.17.3

Layanan	Perubahan
JindoSDK	JindoSDK ditingkatkan untuk memperbaiki deadlock.

EMR-5.17.2

Layanan	Perubahan
JindoCache	Ditingkatkan ke versi 6.5.1. Meningkatkan performa baca dan tulis pada distributed hash table (DHT).
Spark	Menyelesaikan masalah di mana direktori partisi tidak dapat dihapus. Menyelesaikan masalah dependensi paket Hive untuk mencegah operasi klien mengganggu koneksi metastore client.
Trino	Menyelesaikan masalah di mana konfigurasi yang dimodifikasi dikembalikan ke nilai awal saat scale-out. Menambahkan dukungan untuk mengkueri data pada OSS-HDFS berkeamanan tinggi. Menyelesaikan exception layanan yang disebabkan oleh pengaktifan DLF-Auth.
Presto	Menambahkan dukungan untuk mengkueri data pada OSS-HDFS berkeamanan tinggi.
HDFS	Menyelesaikan masalah yang mencegah modifikasi memori NameNode dan DataNode.
HBase-HDFS
YARN	ResourceManager sekarang mendukung pengiriman timeline events secara batch, meningkatkan kapasitas pemrosesan. Menyelesaikan masalah logika dalam pemrosesan container dan sumber daya ResourceManager.
ZooKeeper	Menyelesaikan masalah yang mencegah modifikasi konfigurasi memori untuk node group. Menambahkan dukungan untuk restrukturisasi file konfigurasi log.
Impala	Menyelesaikan masalah di mana auto scaling salah memodifikasi konfigurasi pelanggan.
Ranger	Menambahkan dukungan untuk kernel JindoSDK baru, yang secara signifikan mengurangi penggunaan CPU.
Knox	Menyelesaikan masalah di mana URL komponen menjadi tidak dapat diakses ketika hanya ada satu node group Master-Extend.
Kafka	Menyelesaikan masalah yang mencegah kluster Kafka Connect dimulai.
StarRocks	Menyelesaikan masalah di mana BE yang baru ditambahkan tidak muncul setelah scale-out.
Doris	Ditingkatkan ke versi 2.1.4.
Paimon	Ditingkatkan ke versi 0.9-ali-7.
EMR-HOOK	Menambahkan dukungan untuk parsing alur data dari tabel MaxCompute.

EMR-5.17.1

Layanan	Perubahan
Spark	Menambahkan dukungan untuk deployment node group Master-Extend.
Hive
Kyuubi
Paimon	Mengganti dependensi Flink pada edisi VVR dengan edisi komunitas dan menambahkan dukungan untuk DLF Catalog.
Knox	Dipaketkan dengan JDK 8.
Flink	Mengembalikan konfigurasi dan dependensi DLF yang dihapus di EMR-5.17.0.

EMR-5.17.0

Layanan	Perubahan
Spark	Spark 3 ditingkatkan ke versi 3.4.2.
Celeborn	Ditingkatkan ke versi 0.4.0.
Doris	Ditingkatkan ke versi 2.1.0.
StarRocks	StarRocks 2 ditingkatkan ke versi 2.5.18. StarRocks 3 ditingkatkan ke versi 3.2.4.
Delta Lake	Ditingkatkan ke versi 3.0.0.
Iceberg	Ditingkatkan ke versi 1.5.0.
ZooKeeper	Ditingkatkan ke versi 3.8.4.
JindoCache	Ditingkatkan ke versi 6.2.5.
Flink	Ditingkatkan ke versi 1.17.2.

EMR-5.16.x

Tanggal rilis

Versi	Tanggal
EMR-5.16.0	19 Februari 2024

Pembaruan

Layanan	Pembaruan
Hudi	Ditingkatkan ke versi 0.14.0.
Flume	Ditingkatkan ke versi 1.11.0.
Kyuubi	Ditingkatkan ke versi 1.7.3.
Impala	Ditingkatkan ke versi 4.3.0.
Celeborn	Ditingkatkan ke versi 0.3.2.
JindoCache	Ditingkatkan ke versi 6.2.0.
Paimon	Ditingkatkan ke versi 0.7-ali-1.
Kafka	Ditingkatkan ke versi 3.6.1.
StarRocks	StarRocks2 ditingkatkan ke versi 2.5.13. StarRocks3 ditingkatkan ke versi 3.1.5.
Spark	Memperbaiki kerentanan Commons Text.
Ranger	Kerentanan pada library Commons Text telah diperbaiki. Kerentanan bypass izin pencocokan path pada framework Spring Security telah diperbaiki. Kerentanan bypass otentikasi forward/include pada framework Spring Security telah diperbaiki. Kerentanan bypass otentikasi identitas dalam mode pencocokan khusus pada Spring Framework telah diperbaiki. Interval di mana Ranger memperoleh informasi pengguna dari server Lightweight Directory Access Protocol (LDAP) dan memperbarui informasi pengguna tersebut dapat dimodifikasi.

EMR-5.15.x

Tanggal rilis

Versi	Tanggal
EMR-5.15.1	16 November 2023
EMR-5.15.0 (Tidak tersedia untuk pembelian)	27 Oktober 2023

Pembaruan

Layanan	Deskripsi
JindoCache	Menambahkan layanan JindoCache, versi 6.1.1.
JindoData	JindoData tidak lagi tersedia. Anda dapat menggunakan layanan JindoCache untuk caching dan DLF-Auth untuk otentikasi.
Spark	Menghapus konfigurasi yang terkait dengan `jdo` dari hive-site.xml.
HBase	Menambahkan opsi untuk memilih versi HBase Thrift Server (v1 atau v2).
StarRocks	StarRocks ditingkatkan ke versi 2.5.10.
Doris	Doris ditingkatkan ke versi 1.2.7.
Celeborn	Celeborn ditingkatkan ke versi 0.3.1.
Paimon	Paimon ditingkatkan ke versi 0.6-ali-2.
ClickHouse	ClickHouse ditingkatkan ke versi 23.3.13.6.

EMR-5.14.x

Tanggal rilis

Versi	Tanggal
EMR-5.14.2	17 Agustus 2023

Pembaruan

Layanan	Perubahan
Trino	Memperbaiki masalah yang mencegah konektor Paimon mengkueri tabel HDFS. Memperbaiki masalah di mana metrik node pekerja tidak dapat dibaca.
Presto	Ditingkatkan ke versi 0.283. Memperbaiki masalah di mana metrik node pekerja tidak dapat dibaca.
ClickHouse	Pengguna default sekarang diberikan semua izin secara default.
StarRocks	Mengganti nama layanan StarRocks sebelumnya menjadi StarRocks2. Menambahkan StarRocks3 (versi 3.1.2), yang secara default menggunakan arsitektur integrasi komputasi-penyimpanan. Arsitektur pemisahan komputasi-penyimpanan belum didukung.
Celeborn	Ditingkatkan ke versi 0.3.0.

EMR-5.13.x

Tanggal rilis

Versi	Tanggal rilis
EMR-5.13.0	3 Agustus 2023

Pembaruan

Layanan	Deskripsi
Hudi	Ditingkatkan ke versi 0.13.1.
Paimon	Ditingkatkan ke versi 0.5-ali-1.
StarRocks	Ditingkatkan ke versi 2.5.8.
JindoData	Ditingkatkan ke versi 4.6.11.
Trino	Ditingkatkan ke versi 422. Konektor Hudi sekarang mendukung pengkuerian tabel Merge on Read (MOR). Pesan error untuk pemuatan dinamis user-defined functions (UDFs) telah ditingkatkan.

EMR-5.12.x

Tanggal rilis

Versi	Tanggal
EMR-5.12.1	13 Juli 2023
EMR-5.12.0 (Tidak tersedia untuk pembelian)	1 Juni 2023

Pembaruan

EMR-5.12.1

Layanan	Deskripsi
Spark	Spark History Server sekarang menggunakan OSS-HDFS untuk penyimpanan secara default. Spark3 Native Engine sekarang mendukung OSS dan OSS-HDFS untuk penyimpanan.
Hive	Gudang Hive sekarang menggunakan OSS-HDFS untuk penyimpanan secara default.
OSS-HDFS	Sekarang tersedia sebagai layanan baru.
YARN	YARN sekarang menggunakan OSS-HDFS untuk penyimpanan secara default.
HBase	HBase sekarang menggunakan OSS-HDFS untuk menyimpan data HFile secara default. HBase sekarang mendukung penyimpanan write-ahead logs pada OSS-HDFS.

EMR-5.12.0

Layanan	Deskripsi
Kyuubi	Ditingkatkan ke versi 1.7.1.
Celeborn	Ditingkatkan ke versi 0.2.2.
Paimon	Flink Table Store diganti namanya menjadi Paimon. Ditingkatkan ke versi 0.4-ali-1.
StarRocks	Ditingkatkan ke versi 2.5.5.
Doris	Ditingkatkan ke versi 1.2.4.
ClickHouse	Ditingkatkan ke versi 23.3.2.37.
Trino	Trino sekarang menyertakan listener event default untuk mengambil log audit.
Phoenix	Phoenix sekarang mendukung Hive on Phoenix.

EMR-5.11.x

Tanggal rilis

Versi	Tanggal
EMR-5.11.1	3 April 2023
EMR-5.11.0 (tidak tersedia untuk pembelian)	28 Februari 2023

Pembaruan

EMR-5.11.1

Layanan	Perubahan
ClickHouse	Ditingkatkan ke versi 22.8.14.53.
Trino	Menambahkan konektor odps.properties untuk mengkueri MaxCompute.
JindoData	Ditingkatkan ke versi 4.6.5.
JindoSDK	Ditingkatkan ke versi 4.6.5.
Flink Table Store	Ditingkatkan ke versi 0.3-ali-2.
YARN	Menambahkan dukungan untuk label node.

EMR-5.11.0

Layanan	Perubahan
Iceberg	Ditingkatkan ke versi 1.1.0.
Hudi	Ditingkatkan ke versi 0.12.2. Menambahkan dukungan untuk Change Data Capture (CDC).
Delta Lake	Ditingkatkan ke versi 2.2.0. Sekarang mencatat operasi vacuum ke log transaksi.
Kudu	Ditingkatkan ke versi 1.16.0.
ClickHouse	Instalasi ClickHouse sekarang memerlukan layanan ZooKeeper.
Celeborn	Remote Shuffle Service (RSS) diganti namanya menjadi Celeborn. Versi awal adalah 0.2.0.
Presto	Menambahkan Presto sebagai layanan baru. Kernel-nya berbasis komunitas Facebook PrestoDB 0.278.3. Port default adalah 8889 (HTTP) dan 7779 (HTTPS).
StarRocks	Ditingkatkan ke versi 2.5.1.
Doris	Ditingkatkan ke versi 1.2.1.
Kafka Manager	Ditingkatkan ke versi 3.0.0.6.
Impala	Ditingkatkan ke versi 4.2.0.
OpenLDAP	Ditingkatkan ke versi 2.4.46.
HBase	Menambahkan dukungan untuk JDK 11. Menambahkan dukungan untuk ThriftServer 2. Nilai default parameter hbase.block.data.cachecompressed sekarang true.
Flink Table Store	Menambahkan Flink Table Store sebagai layanan baru, berdasarkan versi komunitas 0.3.
JindoData	Ditingkatkan ke versi 4.6.4.

EMR-5.10.x

Tanggal rilis

EMR-5.10.0: 1 Desember 2022

Pembaruan

Layanan	Deskripsi
Iceberg	Ditingkatkan ke versi 0.14.1.
Flink	Ditingkatkan ke Flink 1.15-vvr-6.0.2, berdasarkan versi utama Apache Flink 1.15.
Kafka	Mendukung otentikasi dan otorisasi LDAP. Mendukung otorisasi grup pengguna.
Trino	Komponen EMR Presto telah diganti namanya menjadi Trino untuk menyelaraskan dengan nama resmi komunitas. Mendukung Ranger dan DLF-Auth. Memperbaiki masalah di mana koneksi ke node pekerja gagal setelah LDAP diaktifkan.
JindoSDK	Ditingkatkan ke versi 4.6.2.
JindoData	Ditingkatkan ke versi 4.6.2.
HBase	Mendukung Ranger. Memperbaiki masalah di mana OSS-HDFS tidak dapat dipilih sebagai mode penyimpanan saat menambahkan layanan.
YARN	Access Control List (ACL) diaktifkan secara default dalam mode keamanan.
StarRocks	Ditingkatkan ke versi 2.4.1.
Doris	Ditingkatkan ke versi 1.1.5.
Hudi	Anda sekarang dapat mengonfigurasi hudi-defaults.conf di konsol.
Ranger	Ditingkatkan ke versi 2.3.0. Mendukung integrasi dengan Trino, YARN, HBase, dan Kafka.
DLF-Auth	Ditingkatkan ke versi 2.0.2. Mendukung Trino dan Impala.
OpenLDAP	Sekarang terintegrasi dengan komponen Nslcd.
Kudu	Anda tidak dapat lagi menginstal Kudu Tserver di grup node tugas.
Spark	Ditingkatkan ke versi 3.3.1.
Tez	Ditingkatkan ke versi 0.10.2.
Kyuubi	Ditingkatkan ke versi 1.6.0.

EMR-5.9.x

Tanggal rilis

Versi	Tanggal
EMR-5.9.1	8 November 2022
EMR-5.9.0 (Tidak tersedia untuk pembelian baru)	14 Oktober 2022

Pembaruan

EMR-5.9.1

Layanan	Perubahan
Kerberos	Mendukung koneksi ke KDC eksternal.
Kafka	Menambahkan opsi konfigurasi untuk menyesuaikan parameter startup layanan.
JindoData	Ditingkatkan ke versi 4.6.0. Mendukung penulisan ulang path akses OSS-HDFS.
Flink	Ditingkatkan ke versi 1.13_vvr_4.0.15.
RSS	Ditingkatkan ke versi 0.1.4.

EMR-5.9.0

Layanan	Perubahan
Spark	Ditingkatkan ke versi 3.3. Mendukung otentikasi Kerberos.
Hudi	Ditingkatkan ke versi 0.12.0. Mendukung Spark 3.3. Memungkinkan Anda menggunakan metastore berbasis cloud untuk menyimpan metadata dan mengaktifkan fitur akselerasi. Untuk informasi lebih lanjut, lihat Petunjuk Penggunaan Metastore Hudi.
Flink	Mendukung otentikasi Kerberos. Mendukung koneksi otomatis ke Data Lake Formation (DLF).
Iceberg	Ditingkatkan ke versi 0.14.0. Mendukung Spark 3.3. Mendukung otentikasi Kerberos.
JindoData	Ditingkatkan ke versi 4.5.1. Mendukung akses ke sumber daya Alibaba Cloud tanpa menggunakan Pasangan Kunci Akses.
Hadoop Common dan HDFS	Mendukung otentikasi Kerberos. Menangani kerentanan CVE-2022-25168.
Knox	Terintegrasi dengan Ranger, memungkinkan akses ke UI Ranger dari tab Access Links and Ports.
HBase	Ditingkatkan ke versi 2.4.9. Mendukung otentikasi Kerberos. Mendukung konfigurasi grup node.
RSS	Ditingkatkan ke versi 0.1.2. Mendukung otentikasi Kerberos.
Doris	Ditingkatkan ke versi 1.1.2. Mendukung otentikasi Kerberos.
StarRocks	Ditingkatkan ke versi 2.3.2. Mendukung otentikasi Kerberos.
Kafka	Ditingkatkan ke versi 2.13_3.2.1. Mendukung otentikasi Kerberos.
Delta Lake	Anda sekarang dapat meningkatkan ke versi 2.1.0. Mendukung Spark 3.3. Mendukung otentikasi Kerberos.
Impala	Mendukung pembuatan tampilan di Data Lake Formation (DLF). Mendukung otentikasi Kerberos.
Kudu	Ditambahkan sebagai komponen baru (versi 1.14.0).
YARN, Ranger, Hive, Kyuubi, Tez, ZooKeeper, DLF-Auth, Phoenix, Sqoop, dan Presto	Mendukung otentikasi Kerberos.

EMR-5.8.x

Tanggal rilis

EMR-5.8.0: 5 Agustus 2022

Pembaruan

Layanan	Perubahan
Spark	Mendukung otentikasi LDAP.
Hive	Mendukung otentikasi LDAP.
Presto	Ditingkatkan ke versi komunitas 389. Menggunakan konektor Delta Lake dan Hudi standalone dari komunitas. Konektor Delta Lake tidak mendukung time travel atau Z-Order. Konektor Hudi tidak mendukung pengkuerian tabel MOR. Mendukung otentikasi LDAP.
Delta Lake	Terintegrasi dengan Data Lake Formation (DLF) untuk manajemen otomatis tabel lake. Memperbaiki masalah sinkronisasi otomatis informasi partisi dalam skenario CTAS. Perintah OPTIMIZE dan VACUUM sekarang mengembalikan metrik.
Hudi	Ditingkatkan ke versi 0.11.1.
Hadoop Common	Menambahkan komponen Hadoop Common untuk menyelesaikan masalah override konfigurasi antara HDFS, YARN, dan JindoSDK.
YARN	Auto scaling ditingkatkan.
Ranger	Mendukung Spark 2 dan Spark 3. Mendukung otentikasi LDAP untuk Ranger UserSync.
Kafka	Memperkenalkan Kafka 2.12-2.4.1 sebagai komponen baru.
HBase	Memperkenalkan HBase 2.3.4 sebagai komponen baru.
Phoenix	Memperkenalkan Phoenix 5.1.2 sebagai komponen baru.
Doris	Ditingkatkan ke versi 1.1.1.
StarRocks	Ditingkatkan ke versi 2.3.0. Model primary key mendukung sintaks `DELETE WHERE` lengkap, indeks primary key persisten untuk mengurangi penggunaan memori, dan lainnya.
ClickHouse	Ditingkatkan ke versi 22.3.8.39. Memperbaiki error kehabisan memori (OOM) saat membaca file besar dari Object Storage Service.

EMR-5.6.x

Tanggal rilis

EMR-5.6.0: 21 April 2022

Pembaruan

Layanan	Perubahan
JindoData	Komponen baru: 4.3.0.
JindoSDK	Ditingkatkan ke versi 4.3.0.
Spark	Ditingkatkan ke versi 3.2.1.
Hive	Menyelesaikan masalah commit duplikat di Hive on Tez saat speculative execution diaktifkan.
Presto	Menyelesaikan masalah yang mencegah layanan Presto dimulai setelah ditambahkan ke kluster Hadoop yang telah diinisialisasi.
Delta Lake	Pernyataan DML sekarang mendukung subkueri.
Hudi	Ditingkatkan ke versi 0.10.1.
Iceberg	Ditingkatkan ke versi 0.13.1.
YARN	Menambahkan konfigurasi untuk membatasi ApplicationMasters agar hanya berjalan di node core.
HBase	Memperbaiki bug pada kernel HBase 2.3.4.
ZooKeeper	Parameter JVM dioptimalkan.
Impala	Menambahkan dukungan untuk JindoSDK 4.3.0.
Sqoop	PostgreSQL ditingkatkan.
Zeppelin	Menyelesaikan masalah yang menyebabkan interpreter JDBC gagal saat startup.
Ranger	Plugin Ranger 1.2.0 untuk Spark sekarang mendukung Delta Lake dan Hudi.
Flume	Menambahkan dukungan untuk JindoSDK 4.3.0.
Oozie	Log4j ditingkatkan ke versi 2.17.2.
DLF-Auth	Ditingkatkan ke versi 2.0.0.

EMR-5.5.x

Tanggal rilis

Versi	Tanggal
EMR-5.5.1	25 Maret 2022
EMR-5.5.0 (tidak tersedia untuk pembelian baru)	15 Februari 2022

Pembaruan

EMR-5.5.1

Catatan

Versi ini hanya didukung untuk kluster OLAP di konsol baru.

Layanan	Pembaruan
ClickHouse	Nilai parameter default diperbarui.
StarRocks	Ditingkatkan ke versi 2.1.1.

EMR-5.5.0

Layanan	Pembaruan
SmartData	Dihentikan.
Bigboot	Dihentikan.
RSS	ESS EMR Remote Shuffle Service ditingkatkan menjadi RSS. Fungsionalitas dan stabilitas ditingkatkan.
JindoSDK	Arsitektur ditingkatkan menjadi JindoData. JindoSDK 4.0 terintegrasi, menambahkan dukungan untuk OSS dan layanan OSS-HDFS Alibaba Cloud.
Spark	Menambahkan dukungan untuk ekspresi IF dalam COUNT DISTINCT dan mengoptimalkan penggunaan CASE WHEN. Atur parameter spark.sql.optimizer.rewriteConditionalDistinctAggregates ke true. Mengaktifkan fallback dari Shuffle Hash Join ke Sort Merge Join. Atur parameter spark.sql.join.preferSortMergeJoin ke false dan parameter spark.sql.join.enableShuffledHashJoinFallback ke true. Mengaktifkan penggabungan otomatis file kecil untuk partisi non-dinamis. Atur parameter spark.sql.adaptive.merge.output.small.files.enabled ke true. Secara otomatis menyesuaikan konkurensi untuk skenario seperti GROUPING SETS dan DISTINCT. Atur parameter spark.sql.execution.optimizeExpand ke true. Mengoptimalkan Hive on Spark. Menambahkan dukungan untuk sintaks time travel. Menambahkan dukungan untuk JindoSDK.
Tez	Menambahkan dukungan untuk JindoSDK.
Hive	Memperbaiki masalah penghapusan batch di Hive Jindo. Memperbaiki masalah kehabisan memori (OOM) di HiveServer2. Mengoptimalkan Hive on Spark. Menambahkan dukungan untuk JindoSDK.
Presto	Presto ditingkatkan ke versi komunitas 358. Konektor MySQL, Iceberg, Hudi, Phoenix, Kudu, dan Delta ditambahkan secara default dan konfigurasi default mereka diperbarui. Menambahkan dukungan untuk analisis data lake. Menambahkan dukungan untuk pemuatan dinamis UDF. Menambahkan dukungan untuk JindoSDK.
Delta Lake	Peningkatan versi Ditingkatkan ke versi 1.1.0, yang kompatibel dengan Spark 3.2.0. Memigrasikan semua fitur komersial ke versi 1.1.0. Manajemen metadata Mengoptimalkan sinkronisasi modifikasi metadata ke metastore. Secara otomatis melaporkan statistik tabel (data profiling) ke metastore. SQL Menambahkan dukungan untuk sintaks time travel. Menambahkan dukungan untuk sintaks SQL DROP PARTITION. Menambahkan dukungan untuk menimpa partisi dinamis dengan SQL. Menambahkan dukungan untuk operasi ADD COLUMN pada posisi tertentu (FIRST dan AFTER). Kemampuan manajemen tabel yang ditingkatkan Mengaktifkan penyesuaian ukuran file dinamis berdasarkan ukuran tabel. Fitur ini diaktifkan secara default. Mengaktifkan vacuuming otomatis dan konkuren. Vacuuming otomatis diaktifkan secara default. Mengoptimalkan logika kompaksi otomatis. Fitur ini dinonaktifkan secara default. Memperkenalkan sintaks Z-order dan mempercepat proses Z-ordering.
Hudi	Ditingkatkan ke versi 0.10.0. Menambahkan dukungan untuk Spark 3.2.0. Menambahkan dukungan untuk mode blok JindoFS.
HDFS	Menambahkan dukungan untuk JindoSDK.
YARN	Menambahkan dukungan untuk konfigurasi memori RSS. Menambahkan dukungan untuk JindoSDK.
Flume	Menambahkan dukungan untuk JindoSDK.
Impala	Menambahkan dukungan untuk JindoSDK.
Ranger	Menambahkan dukungan untuk Spark 3.2.0. Menambahkan dukungan untuk Presto 358.
HBase	Memperbaiki parameter default yang salah. Memperbaiki masalah format tanggal dalam log garbage collection (GC).
ClickHouse	Jenis disk HDFS dan OSS ditambahkan untuk mendukung tiering data. Untuk informasi lebih lanjut, lihat Gunakan HDFS untuk tiering data dan Gunakan OSS untuk tiering data. Mesin keluarga Replicated*MergeTree sekarang mendukung operasi zero-copy untuk jenis disk OSS, HDFS, dan S3. Proses shutdown komponen ClickHouse dioptimalkan.
Iceberg	Ditingkatkan ke versi 0.13.0. Menambahkan dukungan untuk Presto 358.
DLF-Auth	Menambahkan dukungan untuk Spark 3.2.0. Menambahkan dukungan untuk Presto 358.

EMR-5.4.x

Tanggal rilis

Versi	Tanggal
EMR-5.4.3	Desember 2021
EMR-5.4.2 (Tidak tersedia untuk pembelian baru)	Desember 2021
EMR-5.4.1 (Tidak tersedia untuk pembelian baru)	November 2021
EMR-5.4.0 (Tidak tersedia untuk pembelian baru)	Oktober 2021

Pembaruan

EMR-5.4.3

Versi ini memperbaiki kerentanan keamanan Log4j di semua komponen terkait. Untuk informasi lebih lanjut, lihat Buletin Keamanan | Kerentanan Eksekusi Kode Jarak Jauh Apache Log4j 2.

Layanan	Perubahan
Presto	Memperbaiki kerentanan Log4j pada konektor Elasticsearch.
Metastore DLF	Pencatatan log metastore dinonaktifkan secara default. Memperbaiki error yang disebabkan oleh URI getTableStats yang terlalu panjang.
Delta Lake	Memperbaiki masalah di mana perubahan skema gagal disinkronkan ke metastore.
Sqoop	Memperbaiki masalah kehilangan presisi pada tipe data DECIMAL saat mengimpor data ke tabel HCatalog.

EMR-5.4.2

Layanan	Perubahan
SmartData	SmartData diperbarui ke versi 3.8.0. Untuk informasi lebih lanjut, lihat Pengantar SmartData 3.8.x. Otentikasi dan otorisasi berbasis Kerberos dan Ranger dapat digunakan untuk mengelola izin pada data di OSS.

EMR-5.4.1

Layanan	Perubahan
SmartData	SmartData ditingkatkan ke versi 3.7.3. Untuk informasi lebih lanjut, lihat Pengantar SmartData 3.7.x.
Oozie	Memperbaiki masalah yang mencegah Oozie Jetty Server dimulai di lingkungan ketersediaan tinggi (HA) karena konflik JAR dependensi.
Impala	Memperbaiki `no such method error` yang terjadi saat mengkueri tabel metadata DLF.
DLF-Auth	DLF-Auth ditingkatkan ke versi 1.0.1.

EMR-5.4.0

Layanan	Perubahan
SmartData	SmartData ditingkatkan ke versi 3.7.2. Untuk informasi lebih lanjut, lihat Pengantar SmartData 3.7.x.
Spark	Spark ditingkatkan ke versi 3.1.2. Pada Spark 3.x, performa komputasi Distinct dioptimalkan untuk Spark SQL. Fitur optimasi ini dipicu jika operator agregasi berisi beberapa metode `count(distinct case ... when ...)`. Memperbaiki error indeks array di luar batas yang dikembalikan saat beberapa statistik yang diperlukan untuk Adaptive Query Execution (AQE) tidak tersedia. Memperbaiki error terkait AQE dan caching data dalam skenario tertentu.
Hive	Hive on JindoFS (Block) mendukung optimasi metadata batch. Fitur ini dinonaktifkan secara default.
Presto	Menambahkan dukungan untuk mengkueri tabel Delta Lake dengan menggunakan storage handler.
Delta Lake	Delta Lake ditingkatkan ke versi 1.0.0. Menyatukan delta-connectors untuk Hive 2 dan Hive 3. Memperbaiki error pada delta-connectors saat mengkueri tabel partisi multi-level. Menambahkan dukungan SQL untuk fitur seperti Data Skipping, OPTIMIZE, dan Z-Ordering. Menambahkan dukungan untuk sinkronisasi metadata ke metastore.
Hudi	Hudi diperbarui ke versi 0.9.0. Masalah kompatibilitas sql.extension antara Delta Lake dan Hudi telah diperbaiki. Catatan Mendukung Spark 3.1.2.
HDFS	Ruang yang dicadangkan default untuk NameNode sekarang meningkat secara adaptif untuk memastikan NameNode memasuki safe mode segera saat ruang disk rendah.
Storm	Komponen Storm dihentikan.
Zeppelin	Zeppelin ditingkatkan ke versi komunitas 0.10.0.
Hue	Memperbaiki masalah yang kadang-kadang mencegah YARN Job Browser menampilkan atau menghentikan pekerjaan. Mengaktifkan YARN Job Browser dalam konfigurasi default. Mengaktifkan protokol Presto dalam konfigurasi default.
Druid	Masalah berikut diperbaiki: Setelah server dimatikan secara tak terduga, node terkait gagal dimulai ulang karena file PID tidak dihapus.
ClickHouse	Konfigurasi default diperbarui. Menambahkan dukungan untuk scale-out kluster. Menambahkan dukungan untuk fitur MetaChecker. Menambahkan dukungan untuk membaca data dengan menggunakan mesin tabel OSS dan fungsi tabel OSS.
Iceberg	Iceberg ditingkatkan ke versi 0.12.0-1.0.1. Memperbaiki error dependensi runtime Hive.
Knox	Masalah akses pertama kali ke UI Spark yang gagal telah diperbaiki.
DLF-Auth	Layanan ditambahkan. Izin untuk menggunakan Hive atau Spark untuk mengakses DLF dapat dikonfigurasi. Versi layanan adalah 1.0.0.

EMR-5.3.x

Tanggal rilis

Versi	Tanggal
EMR-5.3.1	September 2021
EMR-5.3.0 (tidak tersedia untuk pembelian baru)	Agustus 2021

Pembaruan

EMR-5.3.1

Layanan	Perubahan
SmartData	SmartData ditingkatkan ke versi 3.7.1.
Hue	Memperbaiki masalah yang mencegah Impala digunakan di kluster berkeamanan tinggi.
Kudu	Menambahkan dukungan untuk Kerberos.
HBase	Memperbaiki masalah yang menyebabkan restart berlebihan untuk HBase di kluster berkeamanan tinggi. Menyelesaikan kegagalan integrasi dengan Spark 3.1.1. Mengoptimalkan proses penghentian yang elegan.

EMR-5.3.0

Layanan	Perubahan
SmartData	SmartData ditingkatkan ke versi 3.7.0.
Spark	Memperbaiki masalah kompatibilitas dengan Delta Lake.
Hive	Hive on JindoFS (Mode Penyimpanan Blok) mendukung optimasi metadata batch. Fitur ini dinonaktifkan secara default.
Delta Lake	Menambahkan dukungan untuk partisi Delta Lake. Memperbaiki masalah kompatibilitas antara perintah `desc detail` dan Spark 3.1.1.
YARN	Menambahkan informasi appId, CPU, dan penggunaan sumber daya memori ke REST API kontainer node. Memperbaiki masalah yang membuat log Application Master (AM) tidak dapat diakses pada node yang dilepas oleh auto scaling. Memperbaiki masalah di mana data historis di State Store menyebabkan kluster tidak tersedia. Menambahkan dukungan untuk membersihkan node yang dilepas selama decommission auto scaling. Memperbaiki logika decommission yang elegan untuk auto scaling. Decommission sekarang ditandai sebagai selesai hanya setelah proses NodeManager (NM) keluar.
ZooKeeper	ZooKeeper ditingkatkan ke versi komunitas 3.6.3.
Flink	Menambahkan komponen SmartData ke Flink. Memperbaiki masalah akses tanpa kata sandi ke Object Storage Service (OSS) untuk pekerjaan yang dikirim ke kluster Flink Dataflow melalui SSH.
Impala	Memperbaiki loop tak terbatas yang disebabkan oleh penghapusan langsung direktori partisi Object Storage Service (OSS).
Hue	Memperbaiki masalah tampilan UI pada integrasi Hue dan Oozie.
Kudu	Kudu ditingkatkan ke versi komunitas 1.14.0.
ClickHouse	Menambahkan komponen ClickHouse, versi 21.3.13.9.
Iceberg	Menambahkan komponen Iceberg, versi 0.12.0.

EMR-5.2.x

Tanggal rilis

EMR-5.2.1: 16 Juli 2021

Pembaruan

Layanan	Pembaruan
SmartData	SmartData ditingkatkan ke versi 3.6.1. Untuk informasi lebih lanjut, lihat Pengantar SmartData 3.6.x.
Hive	Memperbaiki masalah di mana perintah `show create table` mengembalikan hasil yang salah saat Anda menggunakan metadata DLF. Mengoptimalkan parameter Hive default untuk meningkatkan performa pekerjaan. Nama item konfigurasi dikapitalisasi pada tab hive-env halaman Configure layanan Hive di konsol EMR untuk meningkatkan kegunaan. Memperbaiki kebocoran memori di HiveServer2 yang disebabkan oleh UDF (user-defined function). Memperbaiki pesan error untuk operasi tulis ke tabel Hive saat sistem file dan metastore tidak konsisten.
HDFS	Menambahkan dukungan untuk format kompresi Zstandard.
Delta Lake	Delta Lake ditingkatkan ke versi 0.8.0. Menambahkan dukungan untuk Spark 3.
Flink	Flink ditingkatkan ke versi 1.12-vvr-3.0.2.
Hudi	Hudi ditingkatkan ke versi 0.8.0. Menambahkan dukungan untuk integrasi dengan Spark SQL.
Spark	Penting Di EMR-5.2.1, Spark (3.1.1) tidak kompatibel dengan Kudu (1.11.1). Menambahkan dukungan untuk format data lake Delta Lake dan Hudi. Menambahkan dukungan untuk Remote Shuffle Service. Menambahkan dukungan untuk Livy. Nama item konfigurasi telah diperbaiki pada tab spark-defaults di halaman Configure layanan Spark di Konsol EMR. Mengoptimalkan fitur seperti cost-based optimization (CBO), dynamic partition pruning (DPP), dan Z-order, meningkatkan performa hingga 50% dibandingkan dengan Spark 3 open source. Menambahkan dukungan untuk sumber data seperti Log Service, DataHub, dan Message Queue for Apache RocketMQ (ONS).
Tez	Mengoptimalkan parameter Tez default untuk meningkatkan performa pekerjaan.
Ranger	Memperbaiki pesan peringatan di log Spark saat Ranger diaktifkan. Memperbaiki kegagalan sinkronisasi pengguna saat terhubung ke server LDAP.
Knox	Menambahkan dukungan untuk komponen Kudu. Menambahkan dukungan untuk komponen HBase.
Kafka	Menambahkan dukungan untuk komponen Cruise Control untuk penyeimbangan kluster Kafka. Disk untuk kluster Kafka sekarang dapat diganti secara hot. Anda dapat mengganti disk yang rusak tanpa menghentikan broker Kafka. Mengubah nilai default beberapa parameter.
Phoenix	Memperbaiki error "JDBC driver not found" yang terjadi saat Anda mengakses tabel Phoenix melalui Hive atau Spark SQL.
EMR Remote Shuffle Service (ESS)	Menambahkan dukungan untuk Spark 3.