Catatan rilis (seri EMR 5.x) - E-MapReduce

Topik ini menjelaskan tanggal rilis dan pembaruan untuk seri EMR 5.x. Untuk informasi selengkapnya mengenai komponen yang didukung di setiap versi, lihat Distribusi.

EMR-5.21.x

Tanggal rilis

Versi	Tanggal
EMR-5.21.0	27 Oktober 2025

Pembaruan

Layanan	Perubahan
Hive	Menambahkan mekanisme profil. Mekanisme ini secara otomatis mendeteksi format file penyimpanan data lake, seperti ORC, dan menerapkan parameter buffer dan pra-baca yang dioptimalkan dari JindoSDK. Memperkenalkan mekanisme pra-ambil stripe ORC. Mekanisme ini memungkinkan komputasi dan operasi I/O paralel saat Anda memproses file ORC berukuran menengah hingga besar. Mekanisme ini secara asinkron melakukan pra-ambil stripe berikutnya saat memproses stripe saat ini untuk meningkatkan throughput. Mendukung pembacaan vektorisasi ORC. Saat Anda membaca data indeks dari file ORC atau melakukan penurunan predikat, banyak rentang file yang tersebar dan tidak berurutan dihasilkan. Pembacaan vektorisasi mengirim permintaan batch untuk secara signifikan meningkatkan throughput. Mengintegrasikan API metadata batch JindoSDK. API ini memproses permintaan metadata, seperti getFileStatus, secara batch untuk meningkatkan throughput permintaan metadata.
Spark	Menambahkan mekanisme profil. Mekanisme ini secara otomatis mendeteksi format file penyimpanan data lake, seperti ORC, dan menerapkan parameter buffer dan pra-baca yang dioptimalkan dari JindoSDK. Memperkenalkan mekanisme pra-ambil stripe ORC. Mekanisme ini memungkinkan komputasi dan operasi I/O paralel saat Anda memproses file ORC berukuran menengah hingga besar. Mekanisme ini secara asinkron melakukan pra-ambil stripe berikutnya saat memproses stripe saat ini untuk meningkatkan throughput. Mendukung pra-buka paralel untuk file kecil. Fitur ini secara otomatis mendeteksi skenario kueri file kecil dan melakukan pra-buka sejumlah file secara paralel. Hal ini sangat mengurangi latensi I/O yang disebabkan oleh operasi pembukaan yang sering. Mendukung pembacaan vektorisasi ORC. Saat Anda membaca data indeks dari file ORC atau melakukan penurunan predikat, banyak rentang file yang tersebar dan tidak berurutan dihasilkan. Pembacaan vektorisasi mengirim permintaan batch untuk secara signifikan meningkatkan throughput.
Tez	Mendukung pra-buka paralel untuk file kecil. Fitur ini secara otomatis mendeteksi skenario kueri file kecil dan melakukan pra-buka sejumlah file secara paralel. Hal ini sangat mengurangi latensi I/O yang disebabkan oleh operasi pembukaan yang sering.
Ranger	Server Jindoauth mendukung peran RAM kustom bagi pengguna klien untuk mengakses OSS. Memperbaiki masalah dependensi yang hilang di plugin Ranger-yarn.
Paimon	Ditingkatkan ke versi 1-ali-16.3.
JindoCache	Ditingkatkan ke versi 6.10.1.
Deltalake	Komponen ditambahkan. Versinya adalah 3.2.1.

Informasi versi rilis

Kluster DataLake

Layanan	Versi
Hadoop-Common	3.2.1
HDFS	3.2.1
OSS-HDFS	1.0.0
Hive	3.1.3
Spark2	2.4.8
Spark3	3.5.3
Tez	0.10.2
Trino	422
Deltalake	3.2.1
Hudi	0.15.0
Iceberg	1.5.0
Flume	1.11.0
Kyuubi	1.9.2
YARN	3.2.1
OpenLDAP	2.4.46
Ranger	2.3.0
Ranger-plugin	1.0.0
DLF-Auth	2.0.2
Presto	0.283
Zookeeper	3.8.4
Sqoop	1.4.7
Knox	1.5.0
Celeborn	0.5.2
JindoCache	6.10.1
Paimon	1-ali-16.3

Kluster OLAP

Layanan	Versi
StarRocks2	2.5.22
StarRocks3	3.2.11
Doris	2.1.4
ClickHouse	23.3.13.6
Zookeeper	3.8.4

Kluster DataFlow

Layanan	Versi
Hadoop-Common	3.2.1
HDFS	3.2.1
OSS-HDFS	1.0.0
YARN	3.2.1
OpenLDAP	2.4.46
Zookeeper	3.8.4
Knox	1.5.0
Flink	1.17.2
Paimon	1-ali-6.2

Kluster DataServing

Layanan	Versi
Hadoop-Common	3.2.1
HDFS	3.2.1
OSS-HDFS	1.0.0
OpenLDAP	2.4.46
Ranger	2.3.0
Ranger-plugin	1.0.0
Zookeeper	3.8.4
Knox	1.5.0
HBase	2.6.3
JindoCache	6.8.2
Phoenix	5.2.1

Kluster Kustom

Layanan	Versi
Hadoop-Common	3.2.1
HDFS	3.2.1
OSS-HDFS	1.0.0
Hive	3.1.3
Spark2	2.4.8
Spark3	3.5.3
Tez	0.10.2
Trino	422
Deltalake	3.2.1
Hudi	0.15.0
Iceberg	1.5.0
Flume	1.11.0
Kyuubi	1.9.2
YARN	3.2.1
OpenLDAP	2.4.46
Ranger	2.3.0
Ranger-plugin	1.0.0
DLF-Auth	2.0.2
Presto	0.283
StarRocks2	2.5.22
StarRocks3	3.2.11
Zookeeper	3.8.4
Sqoop	1.4.7
Knox	1.5.0
Celeborn	0.5.2
Flink	1.17.2
HBase	2.6.3
JindoCache	6.10.1
Paimon	1-ali-16.3
Phoenix	5.2.1

EMR-5.20.x

Tanggal rilis

Versi	Tanggal
EMR-5.20.0	10 Juli 2025

Pembaruan

Layanan	Perubahan
Hive	Mengoptimalkan kinerja penambahan bidang ke tabel partisi.
YARN	Mengoptimalkan kinerja penjadwalan global untuk mencegah perilaku aplikasi tertentu menurunkan kinerja penjadwalan kluster.

Informasi versi rilis

Kluster DataLake

Layanan	Versi
Hadoop-Common	3.2.1
HDFS	3.2.1
OSS-HDFS	1.0.0
Hive	3.1.3
Spark2	2.4.8
Spark3	3.5.3
Tez	0.10.2
Trino	422
Hudi	0.15.0
Iceberg	1.5.0
Flume	1.11.0
Kyuubi	1.9.2
YARN	3.2.1
OpenLDAP	2.4.46
Ranger	2.3.0
Ranger-plugin	1.0.0
DLF-Auth	2.0.2
Presto	0.283
Zookeeper	3.8.4
Sqoop	1.4.7
Knox	1.5.0
Celeborn	0.5.2
JindoCache	6.8.2
Paimon	1-ali-6.2

Kluster OLAP

Layanan	Versi
StarRocks2	2.5.22
StarRocks3	3.2.11
Doris	2.1.4
ClickHouse	23.3.13.6
Zookeeper	3.8.4

Kluster DataFlow

Layanan	Versi
Hadoop-Common	3.2.1
HDFS	3.2.1
OSS-HDFS	1.0.0
YARN	3.2.1
OpenLDAP	2.4.46
Zookeeper	3.8.4
Knox	1.5.0
Flink	1.17.2
Paimon	1-ali-6.2

Kluster DataServing

Layanan	Versi
Hadoop-Common	3.2.1
HDFS	3.2.1
OSS-HDFS	1.0.0
OpenLDAP	2.4.46
Ranger	2.3.0
Ranger-plugin	1.0.0
Zookeeper	3.8.4
Knox	1.5.0
HBase	2.6.3
JindoCache	6.8.2
Phoenix	5.2.1

Kluster Kustom

Layanan	Versi
Hadoop-Common	3.2.1
HDFS	3.2.1
OSS-HDFS	1.0.0
Hive	3.1.3
Spark2	2.4.8
Spark3	3.5.3
Tez	0.10.2
Trino	422
Hudi	0.15.0
Iceberg	1.5.0
Flume	1.11.0
Kyuubi	1.9.2
YARN	3.2.1
OpenLDAP	2.4.46
Ranger	2.3.0
Ranger-plugin	1.0.0
DLF-Auth	2.0.2
Presto	0.283
StarRocks2	2.5.22
StarRocks3	3.2.11
Zookeeper	3.8.4
Sqoop	1.4.7
Knox	1.5.0
Celeborn	0.5.2
Flink	1.17.2
HBase	2.6.3
JindoCache	6.8.2
Paimon	1-ali-6.2
Phoenix	5.2.1

EMR-5.19.x

Tanggal rilis

Versi	Tanggal
EMR-5.19.0	24 April 2025

Pembaruan

Layanan	Perubahan
Trino	Memperbaiki masalah ketidaktersediaan LDAP.
YARN	Meningkatkan efisiensi alokasi sumber daya melalui optimasi penjadwalan global. Menambahkan pemantauan metrik untuk layanan HTTP. Memperbaiki bug open source (YARN-10213).
HBase	Ditingkatkan ke versi 2.6.3. Mengubah lingkungan runtime default menjadi Java 11. Mengubah garbage collector default menjadi G1.
Phoenix	Ditingkatkan ke versi 5.2.1.
JindoCache	Ditingkatkan ke versi 6.8.2.
StarRocks	Mendukung pembuatan kluster dengan penyimpanan dan komputasi terpisah.
EMRHOOK	Menambahkan dukungan untuk Spark 3.5. Mendukung pelacakan alur data untuk tabel Paimon. Menyempurnakan stabilitas.

Informasi versi rilis

Kluster DataLake

Layanan	Versi
Hadoop-Common	3.2.1
HDFS	3.2.1
OSS-HDFS	1.0.0
Hive	3.1.3
Spark2	2.4.8
Spark3	3.5.3
Tez	0.10.2
Trino	422
Hudi	0.15.0
Iceberg	1.5.0
Flume	1.11.0
Kyuubi	1.9.2
YARN	3.2.1
OpenLDAP	2.4.46
Ranger	2.3.0
Ranger-plugin	1.0.0
DLF-Auth	2.0.2
Presto	0.283
Zookeeper	3.8.4
Sqoop	1.4.7
Knox	1.5.0
Celeborn	0.5.2
JindoCache	6.8.2
Paimon	1-ali-6.2

Kluster OLAP

Layanan	Versi
StarRocks2	2.5.22
StarRocks3	3.2.11
Doris	2.1.4
ClickHouse	23.3.13.6
Zookeeper	3.8.4

Kluster DataFlow

Layanan	Versi
Hadoop-Common	3.2.1
HDFS	3.2.1
OSS-HDFS	1.0.0
YARN	3.2.1
OpenLDAP	2.4.46
Zookeeper	3.8.4
Knox	1.5.0
Flink	1.17.2
Paimon	1-ali-6.2

Kluster DataServing

Layanan	Versi
Hadoop-Common	3.2.1
HDFS	3.2.1
OSS-HDFS	1.0.0
OpenLDAP	2.4.46
Ranger	2.3.0
Ranger-plugin	1.0.0
Zookeeper	3.8.4
Knox	1.5.0
HBase	2.6.3
JindoCache	6.8.2
Phoenix	5.2.1

Kluster Kustom

Layanan	Versi
Hadoop-Common	3.2.1
HDFS	3.2.1
OSS-HDFS	1.0.0
Hive	3.1.3
Spark2	2.4.8
Spark3	3.5.3
Tez	0.10.2
Trino	422
Hudi	0.15.0
Iceberg	1.5.0
Flume	1.11.0
Kyuubi	1.9.2
YARN	3.2.1
OpenLDAP	2.4.46
Ranger	2.3.0
Ranger-plugin	1.0.0
DLF-Auth	2.0.2
Presto	0.283
StarRocks2	2.5.22
StarRocks3	3.2.11
Zookeeper	3.8.4
Sqoop	1.4.7
Knox	1.5.0
Celeborn	0.5.2
Flink	1.17.2
HBase	2.6.3
JindoCache	6.8.2
Paimon	1-ali-6.2
Phoenix	5.2.1

EMR-5.18.x

Tanggal rilis

Versi	Tanggal
EMR-5.18.1	18 Desember 2024
EMR-5.18.0 (Pembelian baru tidak didukung)	4 Desember 2024

Pembaruan

Layanan	Perubahan
Spark3	Ditingkatkan ke versi 3.5.3. Memperbaiki masalah konfigurasi yang terjadi selama skala keluar Spark.
Trino	Memperbaiki masalah kegagalan koneksi setelah LDAP diaktifkan.
Presto
Zookeeper	Mendukung penambahan konfigurasi kustom.
Ranger	Mengganti plugin Ranger Spark 3 yang ada dengan versi yang disediakan oleh proyek open source Kyuubi.
Hudi	Ditingkatkan ke versi 0.15.0.
Celeborn	Ditingkatkan ke versi 0.5.2.
Paimon	Ditingkatkan ke versi 1.0-ali-1.
JindoCache	Ditingkatkan ke versi 6.5.3.
StarRocks3	Ditingkatkan ke versi 3.2.11.
StarRocks2	Ditingkatkan ke versi 2.5.22.
Impala	Layanan ini offline. Gunakan layanan yang direkomendasikan sebagai alternatif, atau instal layanan yang sesuai sendiri. Untuk Impala, gunakan Presto, Trino, ClickHouse, atau StarRocks sebagai alternatif.
Kudu
Kafka
Kafka-Manager

EMR-5.17.x

Tanggal rilis

Versi	Tanggal
EMR-5.17.4	18 Desember 2024
EMR-5.17.3 (Pembelian baru tidak didukung)	29 November 2024
EMR-5.17.2 (Pembelian baru tidak didukung)	29 Agustus 2024
EMR-5.17.1 (Pembelian baru tidak didukung)	21 Juni 2024
EMR-5.17.0 (Pembelian baru tidak didukung)	23 April 2024

Pembaruan

EMR-5.17.4

Layanan	Perubahan
JindoCache	Ditingkatkan ke versi 6.5.3.
StarRocks2	Ditingkatkan ke versi 2.5.22.
StarRocks3	Ditingkatkan ke versi 3.2.11.

EMR-5.17.3

Layanan	Perubahan
JindoSDK	Memperbarui JindoSDK untuk menyelesaikan masalah deadlock.

EMR-5.17.2

Layanan	Perubahan
JindoCache	Ditingkatkan ke versi 6.5.1. Meningkatkan kinerja baca dan tulis Distributed Hash Table (DHT).
Spark	Memperbaiki masalah folder partisi tidak dapat dihapus. Memperbaiki masalah dependensi paket Hive untuk memastikan operasi klien tidak mengganggu koneksi ke metaStoreClient.
Trino	Memperbaiki masalah beberapa konfigurasi yang dimodifikasi secara tidak terduga dipulihkan selama skala keluar. Mendukung kueri data pada OSS-HDFS berkeamanan tinggi. Memperbaiki masalah ketidaknormalan layanan yang terjadi setelah DLF-AUTH diaktifkan.
Presto	Mendukung kueri data pada OSS-HDFS berkeamanan tinggi.
HDFS	Memperbaiki masalah memori NameNode dan DataNode tidak dapat dimodifikasi.
HBaseHDFS
YARN	ResourceManager mendukung pengiriman event timeline secara batch untuk meningkatkan kemampuan pemrosesan. Memperbaiki masalah logika dalam pemrosesan kontainer dan sumber daya di ResourceManager.
Zookeeper	Memperbaiki masalah konfigurasi memori grup node tidak dapat dimodifikasi. Mendukung refaktor file konfigurasi log.
Impala	Memperbaiki masalah konfigurasi pelanggan dimodifikasi selama skalabilitas elastis.
Ranger	Mendukung kernel JindoSDK baru untuk secara efektif mengurangi pemanfaatan CPU.
Knox	Memperbaiki masalah akses URL komponen gagal ketika hanya ada satu node Master-Extend.
Kafka	Memperbaiki masalah startup kluster Kafka Connect.
StarRocks	Memperbaiki masalah node BE baru tidak terlihat setelah skala keluar.
Doris	Ditingkatkan ke versi 2.1.4.
Paimon	Ditingkatkan ke versi 0.9-ali-7.
EMRHOOK	Mendukung penguraian alur data untuk tabel MaxCompute.

EMR-5.17.1

Layanan	Perubahan
Spark	Mendukung penyebaran grup node Master-Extend.
Hive
Kyuubi
Paimon	Mengganti dependensi Flink dari versi VVR dengan versi komunitas dan mendukung Katalog DLF.
Knox	Menggunakan JDK 8 untuk pengemasan.
Flink	Memulihkan konfigurasi dan dependensi DLF yang dihapus di EMR-5.17.0.

EMR-5.17.0

Layanan	Perubahan
Spark	Spark3 ditingkatkan ke versi 3.4.2.
Celeborn	Ditingkatkan ke versi 0.4.0.
Doris	Ditingkatkan ke versi 2.1.0.
StarRocks	StarRocks2 ditingkatkan ke versi 2.5.18. StarRocks3 ditingkatkan ke versi 3.2.4.
DeltaLake	Ditingkatkan ke versi 3.0.0.
Iceberg	Ditingkatkan ke versi 1.5.0.
Zookeeper	Ditingkatkan ke versi 3.8.4.
JindoCache	Ditingkatkan ke versi 6.2.5.
Flink	Ditingkatkan ke versi 1.17.2.

EMR-5.16.x

Tanggal rilis

Versi	Tanggal
EMR-5.16.0	19 Februari 2024

Pembaruan

Layanan	Perubahan
Hudi	Ditingkatkan ke versi 0.14.0.
Flume	Ditingkatkan ke versi 1.11.0.
Kyuubi	Ditingkatkan ke versi 1.7.3.
Impala	Ditingkatkan ke versi 4.3.0.
Celeborn	Ditingkatkan ke versi 0.3.2.
JindoCache	Ditingkatkan ke versi 6.2.0.
Paimon	Ditingkatkan ke versi 0.7-ali-1.
Kafka	Ditingkatkan ke versi 3.6.1.
StarRocks	StarRocks2 ditingkatkan ke versi 2.5.13. StarRocks3 ditingkatkan ke versi 3.1.5.
Spark	Memperbaiki kerentanan Commons Text.
Ranger	Kerentanan pada pustaka Commons Text diperbaiki. Kerentanan bypass izin pencocokan path pada framework Spring Security diperbaiki. Kerentanan bypass otentikasi forward/include pada framework Spring Security diperbaiki. Kerentanan bypass otentikasi identitas dalam mode pencocokan khusus pada Spring Framework diperbaiki. Interval pembaruan informasi pengguna dari server Lightweight Directory Access Protocol (LDAP) oleh Ranger dapat dimodifikasi.

EMR-5.15.x

Tanggal rilis

Versi	Tanggal
EMR-5.15.1	16 November 2023
EMR-5.15.0 (Pembelian baru tidak didukung)	27 Oktober 2023

Pembaruan

Layanan	Perubahan
JindoCache	Menambahkan layanan. Versinya adalah 6.1.1.
JindoData	JindoData tidak dapat dipilih. Gunakan layanan JindoCache baru untuk caching dan layanan DLF-Auth untuk otentikasi.
Spark	Menghapus konfigurasi terkait `jdo` dari hive-site.xml.
HBase	Menambahkan item konfigurasi untuk memungkinkan Anda memilih versi HBase Thrift Server, v1 atau v2, sesuai kebutuhan.
StarRocks	Memperbarui StarRocks2 ke versi 2.5.10.
Doris	Memperbarui Doris ke versi 1.2.7.
Celeborn	Memperbarui Celeborn ke versi 0.3.1.
Paimon	Memperbarui Paimon ke versi 0.6-ali-2.
ClickHouse	Memperbarui ClickHouse ke versi 23.3.13.6.

EMR-5.14.x

Tanggal rilis

Versi	Tanggal
EMR-5.14.2	17 Agustus 2023

Pembaruan

Layanan	Perubahan
Trino	Memperbaiki masalah konektor Paimon gagal mengkueri tabel HDFS. Memperbaiki masalah metrik pemantauan worker tidak dapat dibaca.
Presto	Ditingkatkan ke versi 0.283. Memperbaiki masalah metrik pemantauan worker tidak dapat dibaca.
ClickHouse	Memberikan semua izin kepada pengguna default secara default.
StarRocks	Mengganti nama versi StarRocks sebelumnya menjadi StarRocks2. Menambahkan StarRocks3. Versinya adalah 3.1.2. Secara default, kluster dibuat dalam mode penyimpanan dan komputasi tergabung. Mode penyimpanan dan komputasi terpisah tidak didukung.
Celeborn	Ditingkatkan ke versi 0.3.0.

EMR-5.13.x

Tanggal rilis

Versi	Tanggal
EMR-5.13.0	3 Agustus 2023

Pembaruan

Layanan	Perubahan
Hudi	Ditingkatkan ke versi 0.13.1.
Paimon	Ditingkatkan ke versi 0.5-ali-1.
StarRocks	Ditingkatkan ke versi 2.5.8.
JindoData	Ditingkatkan ke versi 4.6.11.
Trino	Ditingkatkan ke versi 422. Konektor Hudi mendukung kueri tabel Merge On Read (MOR). Memperbaiki pesan kesalahan untuk pemuatan UDF dinamis.

EMR-5.12.x

Tanggal rilis

Versi	Tanggal
EMR-5.12.1	13 Juli 2023
EMR-5.12.0 (Pembelian baru tidak didukung)	1 Juni 2023

Pembaruan

EMR-5.12.1

Layanan	Perubahan
Spark	Spark History Server mendukung penggunaan OSS-HDFS untuk penyimpanan secara default. Engine native Spark 3 mendukung penggunaan OSS dan OSS-HDFS untuk penyimpanan.
Hive	Gudang Hive mendukung penggunaan OSS-HDFS untuk penyimpanan secara default.
OSS-HDFS	Menambahkan layanan.
YARN	Mendukung penggunaan OSS-HDFS untuk penyimpanan secara default.
HBase	Data HFile HBase mendukung penggunaan OSS-HDFS untuk penyimpanan secara default. Log WAL HBase mendukung penggunaan OSS-HDFS untuk penyimpanan.

EMR-5.12.0

Layanan	Perubahan
Kyuubi	Ditingkatkan ke versi 1.7.1.
Celeborn	Ditingkatkan ke versi 0.2.2.
Paimon	Flink-Table-Store diganti namanya menjadi Paimon. Ditingkatkan ke versi 0.4-ali-1.
StarRocks	Ditingkatkan ke versi 2.5.5.
Doris	Ditingkatkan ke versi 1.2.4.
ClickHouse	Ditingkatkan ke versi 23.3.2.37.
Trino	Menyediakan pendengar event sederhana secara default untuk mendapatkan log audit.
Phoenix	Mendukung Hive on Phoenix.

EMR-5.11.x

Tanggal rilis

Versi	Tanggal
EMR-5.11.1	3 April 2023
EMR-5.11.0 (Pembelian baru tidak didukung)	28 Februari 2023

Pembaruan

EMR-5.11.1

Layanan	Perubahan
ClickHouse	Ditingkatkan ke versi 22.8.14.53.
Trino	Menambahkan konektor odps.properties untuk mendukung kueri pada MaxCompute.
JindoData	Ditingkatkan ke versi 4.6.5.
JindoSDK	Ditingkatkan ke versi 4.6.5.
Flink-Table-Store	Ditingkatkan ke versi 0.3-ali-2.
YARN	Mendukung manajemen Label Node.

EMR-5.11.0

Layanan	Perubahan
Iceberg	Ditingkatkan ke versi 1.1.0.
Hudi	Ditingkatkan ke versi 0.12.2. Mendukung CDC.
DeltaLake	Ditingkatkan ke versi 2.2.0. Mendukung pencatatan operasi Vacuum dalam log transaksi.
Kudu	Ditingkatkan ke versi 1.16.0.
Clickhouse	Layanan ZooKeeper harus dipilih saat Anda menginstal layanan ClickHouse.
Celeborn	RSS diganti namanya menjadi Celeborn. Versi Celeborn adalah 0.2.0.
Presto	Menambahkan layanan. Kernelnya adalah PrestoDB Facebook komunitas 0.278.3. Port HTTP default adalah 8889, dan port HTTPS default adalah 7779.
StarRocks	Ditingkatkan ke versi 2.5.1.
Doris	Ditingkatkan ke versi 1.2.1.
Kafka-Manager	Ditingkatkan ke versi 3.0.0.6.
Impala	Ditingkatkan ke versi 4.2.0.
OpenLDAP	Ditingkatkan ke versi 2.4.46.
HBase	Mendukung JDK 11. Mendukung ThriftServer2. Nilai default parameter hbase.block.data.cachecompressed diubah menjadi true.
Flink-Table-Store	Menambahkan layanan. Versinya berdasarkan versi komunitas 0.3.
JindoData	Ditingkatkan ke versi 4.6.4.

EMR-5.10.x

Tanggal rilis

EMR-5.10.0: 1 Desember 2022

Pembaruan

Layanan	Perubahan
Iceberg	Ditingkatkan ke versi 0.14.1.
Flink	Ditingkatkan ke Flink 1.15-vvr-6.0.2, yang sesuai dengan versi utama komunitas Flink 1.15.
Kafka	Mendukung otentikasi dan otorisasi logon pengguna LDAP. Mendukung otorisasi grup pengguna.
Trino	EMR Presto diganti namanya menjadi nama resmi komunitasnya, Trino. Mendukung Ranger dan DLF AUTH. Memperbaiki masalah koneksi ke node pekerja gagal setelah pengaktifan LDAP satu klik.
JindoSDK	Ditingkatkan ke versi 4.6.2.
JindoData	Ditingkatkan ke versi 4.6.2.
HBase	Mendukung Ranger. Memperbaiki masalah OSS-HDFS tidak dapat dipilih sebagai mode penyimpanan saat menambahkan layanan.
YARN	ACL diaktifkan secara default dalam mode keamanan tinggi.
Starrocks	Ditingkatkan ke versi 2.4.1.
Doris	Ditingkatkan ke versi 1.1.5.
Hudi	Konsol mendukung konfigurasi hudi-defaults.conf.
Ranger	Ditingkatkan ke versi 2.3.0. Mendukung integrasi dengan Trino, YARN, HBase, dan Kafka.
DLF-Auth	Ditingkatkan ke versi 2.0.2. Mendukung Trino dan Impala.
OpenLDAP	Mengintegrasikan komponen Nslcd.
Kudu	Kudu Tserver tidak dapat lagi diinstal di grup node Tugas.
Spark	Ditingkatkan ke versi 3.3.1.
Tez	Ditingkatkan ke versi 0.10.2.
Kyuubi	Ditingkatkan ke versi 1.6.0.

EMR-5.9.x

Tanggal rilis

Versi	Tanggal
EMR-5.9.1	8 November 2022
EMR-5.9.0 (Pembelian baru tidak didukung)	14 Oktober 2022

Pembaruan

EMR-5.9.1

Layanan	Perubahan
Kerberos	Mendukung koneksi ke KDC eksternal di EMR.
Kafka	Menambahkan item konfigurasi untuk perintah startup yang memungkinkan pengguna menyesuaikan parameter startup untuk layanan.
JindoData	Ditingkatkan ke versi 4.6.0. Mendukung penulisan ulang path akses OSS-HDFS.
Flink	Ditingkatkan ke versi 1.13_vvr_4.0.15.
RSS	Ditingkatkan ke versi 0.1.4.

EMR-5.9.0

Layanan	Perubahan
Spark	Ditingkatkan ke versi 3.3. Mendukung pengaktifan otentikasi Kerberos.
Hudi	Ditingkatkan ke versi 0.12.0. Mendukung Spark 3.3. Mendukung penggunaan MetaStore berbasis cloud untuk menghosting metadata dan mengaktifkan fitur akselerasi. Untuk informasi selengkapnya, lihat Petunjuk cara menggunakan Hudi MetaStore.
Flink	Mendukung pengaktifan otentikasi Kerberos. Mendukung koneksi otomatis dengan Data Lake Formation (DLF).
Iceberg	Ditingkatkan ke versi 0.14.0. Mendukung Spark 3.3. Mendukung pengaktifan otentikasi Kerberos.
JindoData	Ditingkatkan ke versi 4.5.1. Mendukung akses ke sumber daya Alibaba Cloud tanpa AccessKey.
Hadoop-Common dan HDFS	Mendukung pengaktifan otentikasi Kerberos. Memperbaiki kerentanan keamanan CVE-2022-25168.
Knox	Mengintegrasikan dengan Ranger. Anda dapat mengakses UI Ranger dari tab Access Links And Ports.
HBase	Ditingkatkan ke versi 2.4.9. Mendukung pengaktifan otentikasi Kerberos. Mendukung konfigurasi grup.
RSS	Ditingkatkan ke versi 0.1.2. Mendukung pengaktifan otentikasi Kerberos.
Doris	Ditingkatkan ke versi 1.1.2. Mendukung pengaktifan otentikasi Kerberos.
StarRocks	Ditingkatkan ke versi 2.3.2. Mendukung pengaktifan otentikasi Kerberos.
Kafka	Ditingkatkan ke versi 2.13_3.2.1. Mendukung pengaktifan otentikasi Kerberos.
DeltaLake	Mendukung peningkatan ke versi 2.1.0. Mendukung Spark 3.3. Mendukung pengaktifan otentikasi Kerberos.
Impala	Mendukung pembuatan tampilan di DLF. Mendukung pengaktifan otentikasi Kerberos.
Kudu	Menambahkan komponen. Versinya adalah 1.14.0.
YARN, Ranger, Hive, Kyuubi, Tez, Zookeeper, DLF-Auth, Phoenix, Sqoop, dan Presto	Mendukung pengaktifan otentikasi Kerberos.

EMR-5.8.x

Tanggal rilis

EMR-5.8.0: 5 Agustus 2022

Pembaruan

Layanan	Perubahan
Spark	Mendukung integrasi satu klik dengan LDAP.
Hive	Mendukung integrasi satu klik dengan LDAP.
Presto	Ditingkatkan ke versi komunitas 389. Menggunakan konektor Delta Lake dan Hudi standalone yang disediakan oleh komunitas. Konektor Delta Lake pada versi ini tidak mendukung Time Travel dan Z-Order. Konektor Hudi pada versi ini tidak mendukung kueri tabel MOR. Mendukung integrasi satu klik dengan LDAP.
DeltaLake	Mengintegrasikan dengan DLF untuk manajemen tabel lake otomatis. Memperbaiki masalah informasi partisi tidak dapat disinkronkan secara otomatis dalam skenario CTAS. Perintah optimize dan vacuum mendukung pengembalian informasi metrik.
Hudi	Ditingkatkan ke versi 0.11.1.
HadoopCommon	Menambahkan komponen. Ini menyelesaikan masalah konfigurasi HDFS, YARN, dan JindoSDK saling menimpa.
YARN	Menyempurnakan fitur skalabilitas elastis.
Ranger	Mendukung Spark 2 dan Spark 3. Ranger Usersync mendukung integrasi satu klik dengan LDAP.
Kafka	Menambahkan komponen. Versinya adalah 2.12-2.4.1.
HBase	Menambahkan komponen. Versinya adalah 2.3.4.
Phoenix	Menambahkan komponen. Versinya adalah 5.1.2.
Doris	Ditingkatkan ke versi 1.1.1.
StarRocks	Ditingkatkan ke versi 2.3.0. Model kunci primer mendukung sintaks lengkap `DELETE WHERE` dan persistensi indeks kunci primer untuk mengurangi penggunaan memori.
ClickHouse	Ditingkatkan ke versi 22.3.8.39. Memperbaiki masalah kehabisan memori saat membaca file besar dari OSS.

EMR-5.6.x

Tanggal rilis

EMR-5.6.0: 21 April 2022

Pembaruan

Layanan	Perubahan
JindoData	Menambahkan komponen. Versinya adalah 4.3.0.
JindoSDK	Ditingkatkan ke versi 4.3.0.
Spark	Ditingkatkan ke versi 3.2.1.
Hive	Memperbaiki bug di mana commit diulang setelah Speculation diaktifkan di Tez.
Presto	Memperbaiki bug di mana layanan Presto gagal dimulai setelah ditambahkan ke kluster Hadoop yang telah diinisialisasi.
DeltaLake	DML mendukung subkueri.
Hudi	Ditingkatkan ke versi 0.10.1.
Iceberg	Ditingkatkan ke versi 0.13.1.
YARN	Menambahkan konfigurasi fitur untuk membatasi ApplicationMasters (AM) hanya berjalan di node grup CORE.
HBase	Memperbaiki bug pada kernel HBase 2.3.4.
Zookeeper	Mengoptimalkan konfigurasi parameter JVM.
Impala	Menyesuaikan dengan JindoSDK 4.3.0.
Sqoop	Memperbarui versi PostgreSQL.
Zeppelin	Memperbaiki masalah Interpreter JDBC gagal dimulai.
Ranger	Plugin Ranger 1.2.0 Spark mendukung Delta dan Hudi.
Flume	Menyesuaikan dengan JindoSDK 4.3.0.
Oozie	Memperbarui Log4j ke versi 2.17.2.
DLF-Auth	Ditingkatkan ke versi 2.0.0.

EMR-5.5.x

Tanggal rilis

Versi	Tanggal
EMR-5.5.1	25 Maret 2022
EMR-5.5.0 (Pembelian baru tidak didukung)	15 Februari 2022

Pembaruan

EMR-5.5.1

Catatan

Hanya kluster OLAP di konsol baru yang mendukung versi ini.

Layanan	Perubahan
Clickhouse	Memodifikasi nilai default beberapa parameter.
StarRocks	Ditingkatkan ke versi 2.1.1.

EMR-5.5.0

Layanan	Perubahan
SmartData	Komponen ini offline.
BIGBOOT	Komponen ini offline.
RSS	Memperbarui layanan ESS ke RSS. Menyempurnakan fitur dan stabilitas layanan.
JindoSDK	Memperbarui arsitektur ke JindoData. EMR mengintegrasikan JindoSDK 4.0 untuk pertama kalinya, mendukung layanan seperti OSS dan OSS-HDFS.
Spark	Fungsi COUNT DISTINCT mendukung pernyataan IF dan mengoptimalkan penggunaan CASE WHEN. Setel parameter spark.sql.optimizer.rewriteConditionalDistinctAggregates ke true. Shuffle Hash Join mendukung fallback ke Sort Merge Join. Setel parameter spark.sql.join.preferSortMergeJoin ke false, dan setel parameter spark.sql.join.enableShuffledHashJoinFallback ke true. Mendukung penggabungan otomatis file kecil untuk partisi non-dinamis. Setel parameter spark.sql.adaptive.merge.output.small.files.enabled ke true. Konkurensi disesuaikan secara otomatis untuk skenario seperti GroupingSet dan Distinct. Setel parameter spark.sql.execution.optimizeExpand ke true. Mengoptimalkan Hive on Spark. Mendukung sintaks Time Travel. Menyesuaikan dengan JindoSDK.
Tez	Menyesuaikan dengan JindoSDK.
Hive	Mengoptimalkan penghapusan batch Hive Jindo. Mengoptimalkan masalah OOM HiveServer2. Mengoptimalkan Hive on Spark. Menyesuaikan dengan JindoSDK.
Presto	Memperbarui Presto ke versi komunitas 358. Menambahkan konektor MySQL, Iceberg, Hudi, Phoenix, Kudu, dan Delta secara default dan memperbarui konfigurasi default. Mendukung analitik data lake. Mendukung pemuatan UDF dinamis. Menyesuaikan dengan JindoSDK.
Delta Lake	Peningkatan versi Ditingkatkan ke versi 1.1.0, yang kompatibel dengan Spark 3.2.0. Semua fitur komersial dimigrasikan ke versi 1.1.0. Manajemen metadata Mengoptimalkan sinkronisasi modifikasi metadata ke metastore. Secara otomatis melaporkan statistik tabel (dataProfiling) ke metastore. SQL Mendukung sintaks Time Travel. Mendukung sintaks SQL DropPartition. Mendukung overwrite partisi dinamis menggunakan SQL. Mendukung operasi ADD COLUMN pada posisi tertentu (FIRST dan AFTER). Penyempurnaan manajemen tabel Mendukung dan mengaktifkan penyesuaian ukuran file secara dinamis berdasarkan ukuran tabel secara default. Mendukung dan mengaktifkan Vacuum otomatis secara default. Vacuum konkuren juga didukung. Mengoptimalkan logika kompaksi otomatis. Fitur ini dinonaktifkan secara default. Menambahkan sintaks Z-order dan mempercepat proses Z-order.
Hudi	Ditingkatkan ke versi 0.10.0. Mendukung Spark 3.2.0. Mendukung mode JindoFS Block.
HDFS	Menyesuaikan dengan JindoSDK.
YARN	Menyesuaikan dengan konfigurasi memori RSS. Menyesuaikan dengan JindoSDK.
Flume	Menyesuaikan dengan JindoSDK.
Impala	Menyesuaikan dengan JindoSDK.
Ranger	Mendukung Spark 3.2.0. Mendukung Presto 358.
HBase	Memperbaiki masalah dengan parameter default. Memperbaiki masalah dengan format tanggal log GC.
Clickhouse	Menambahkan tipe disk HDFS dan OSS untuk mendukung pemisahan data panas dan dingin. Untuk informasi selengkapnya, lihat Gunakan HDFS untuk pemisahan data panas dan dingin dan Gunakan OSS untuk pemisahan data panas dan dingin. Dalam skenario Replicated*MergeTree, Zero Copy didukung untuk tipe disk OSS, HDFS, dan S3. Mengoptimalkan logika pemrosesan saat komponen ClickHouse dihentikan.
Iceberg	Ditingkatkan ke versi 0.13.0. Mendukung Presto 358.
DLF-Auth	Mendukung Spark 3.2.0. Mendukung Presto 358.

EMR-5.4.x

Tanggal rilis

Versi	Tanggal
EMR-5.4.3	Desember 2021
EMR-5.4.2 (Pembelian baru tidak didukung)	Desember 2021
EMR-5.4.1 (Pembelian baru tidak didukung)	November 2021
EMR-5.4.0 (Pembelian baru tidak didukung)	Oktober 2021

Pembaruan

EMR-5.4.3

Rilis ini memperbaiki kerentanan keamanan Log4j pada semua komponen terkait. Untuk informasi selengkapnya, lihat Pengumuman Kerentanan | Kerentanan Eksekusi Kode Arbitrer Apache Log4j2.

Layanan	Perubahan
Presto	Memperbaiki kerentanan Log4j pada konektor Elasticsearch.
DLF Metastore	Mengubah pengaturan default log Metastore dari diaktifkan menjadi dinonaktifkan. Memperbaiki kesalahan yang disebabkan oleh URI yang terlalu panjang untuk Metastore gettablestats.
Delta Lake	Memperbaiki masalah sinkronisasi perubahan skema ke Metastore.
Sqoop	Memperbaiki masalah kehilangan presisi untuk tipe Decimal saat Sqoop mengimpor tabel HCatalog.

EMR-5.4.2

Layanan	Perubahan
SmartData	SmartData diperbarui ke 3.8.0. Untuk informasi selengkapnya, lihat Ikhtisar SmartData 3.8.X. Otentikasi dan otorisasi berbasis Kerberos dan Ranger dapat digunakan untuk mengelola izin pada data di OSS.

EMR-5.4.1

Layanan	Perubahan
SmartData	Memperbarui SmartData ke versi 3.7.3. Untuk informasi selengkapnya, lihat Pengantar SmartData 3.7.x.
Oozie	Memperbaiki masalah server Jetty untuk Oozie gagal dimulai karena konflik paket JAR di lingkungan HA.
Impala	Memperbaiki `no such method error` yang terjadi saat mengkueri tabel metadata DLF.
DLF-Auth	Memperbarui DLF-Auth ke versi 1.0.1.

EMR-5.4.0

Layanan	Perubahan
SmartData	Memperbarui SmartData ke versi 3.7.2. Untuk informasi selengkapnya, lihat Pengantar SmartData 3.7.x.
Spark	Memperbarui Spark ke versi 3.1.2. Pada Spark 3.x, kinerja komputasi Distinct dioptimalkan untuk Spark SQL. Fitur optimasi ini dipicu jika operator agregasi berisi beberapa metode `count(distinct case ... when ...)`. Memperbaiki kesalahan indeks array di luar batas yang dikembalikan saat beberapa statistik yang diperlukan untuk Adaptive Query Execution (AQE) tidak tersedia. Memperbaiki kesalahan terkait AQE dan caching data dalam skenario tertentu.
Hive	Fitur optimasi metadata batch didukung untuk Hive on JindoFS (Block). Fitur ini dinonaktifkan secara default.
Presto	Tabel Delta mendukung kueri StorageHandler.
DeltaLake	Memperbarui DeltaLake ke versi 1.0.0. Menyatukan delta-connectors untuk Hive 2 dan Hive 3. Memperbaiki kesalahan saat delta-connectors mengkueri tabel partisi multi-level. Mendukung sintaks SQL untuk beberapa fitur, seperti DataSkipping, Optimize, dan Zorder. Mendukung sinkronisasi metadata ke MetaStore.
Hudi	Hudi diperbarui ke 0.9.0. Masalah kompatibilitas sql.extension antara Delta Lake dan Hudi diperbaiki. Catatan Mendukung Spark 3.1.2.
HDFS	Parameter default untuk kapasitas terjadwal NameNode secara otomatis ditingkatkan. Ini memastikan bahwa NameNode segera memasuki safe mode ketika ruang disk tidak mencukupi.
Storm	Komponen ini offline.
Zeppelin	Memperbarui Zeppelin ke versi komunitas 0.10.0.
Hue	Memperbaiki masalah YARN Job Browser gagal menampilkan atau menghentikan pekerjaan dalam beberapa kasus. Mengaktifkan YARN Job Browser dalam konfigurasi default. Mendukung protokol Presto dalam konfigurasi default.
Druid	Masalah berikut diperbaiki: Setelah server dimatikan secara tidak terduga, node terkait gagal dimulai ulang karena file PID tidak dihapus.
ClickHouse	Memperbarui konfigurasi default. Mendukung skala keluar kluster. Mendukung fitur MetaChecker. Mendukung pembacaan data menggunakan mesin tabel OSS dan fungsi tabel OSS.
Iceberg	Memperbarui Iceberg ke versi 0.12.0-1.0.1. Memperbaiki kesalahan dengan dependensi Runtime Hive.
Knox	Masalah akses pertama ke UI Spark gagal diperbaiki.
DLF-Auth	Layanan ditambahkan. Izin untuk menggunakan Hive atau Spark untuk mengakses DLF dapat dikonfigurasi. Versi layanan adalah 1.0.0.

EMR-5.3.x

Tanggal rilis

Versi	Tanggal
EMR-5.3.1	September 2021
EMR-5.3.0 (Pembelian baru tidak didukung)	Agustus 2021

Pembaruan

EMR-5.3.1

Layanan	Perubahan
SmartData	Memperbarui SmartData ke versi 3.7.1.
Hue	Memperbaiki masalah Impala tidak dapat digunakan di kluster berkeamanan tinggi.
Kudu	Menambahkan dukungan untuk Kerberos.
HBase	Memperbaiki masalah waktu restart HBase di kluster berkeamanan tinggi terlalu lama. Memperbaiki masalah integrasi Spark 3.1.1 dengan HBase gagal. Mengoptimalkan proses penghentian yang elegan.

EMR-5.3.0

Layanan	Perubahan
SmartData	Memperbarui SmartData ke versi 3.7.0.
Spark	Memperbaiki masalah kompatibilitas dengan Delta Lake.
Hive	Hive on JindoFS (mode Block) mendukung fitur optimasi metadata batch. Fitur ini dinonaktifkan secara default.
DeltaLake	Menambahkan dukungan untuk fitur partisi DeltaLake. Memperbaiki masalah kompatibilitas antara perintah `desc detail` dan versi Spark 3.1.1.
YARN	Menambahkan informasi penggunaan sumber daya appId, CPU, dan Memori ke API REST Containers node. Memperbaiki masalah log ApplicationMaster (AM) pada node Auto Scaling yang dirilis tidak dapat dilihat. Memperbaiki masalah data historis di State Store menyebabkan kluster tidak tersedia. Menambahkan dukungan untuk membersihkan node yang dirilis setelah dinonaktifkan oleh Auto Scaling. Menyempurnakan logika dekomision yang elegan untuk Auto Scaling. Node sekarang ditandai sebagai offline hanya setelah proses NodeManager (NM) berakhir.
Zookeeper	Ditingkatkan ke versi komunitas 3.6.3.
Flink	Menambahkan komponen SmartData. Memperbaiki masalah akses tanpa kata sandi ke OSS tidak memungkinkan saat Anda mengirim pekerjaan ke kluster DataFlow-Flink menggunakan Secure Shell (SSH).
Impala	Memperbaiki masalah penghapusan direktori partisi OSS secara langsung menyebabkan loop daftar direktori.
Hue	Memperbaiki masalah tampilan antarmuka pengguna (UI) yang terjadi saat Hue diintegrasikan dengan Oozie.
Kudu	Ditingkatkan ke versi komunitas 1.14.0.
Clickhouse	Versi komponen adalah 21.3.13.9.
Iceberg	Komponen Iceberg ditambahkan. Versi komponen adalah 0.12.0.

EMR-5.2.x

Tanggal rilis

EMR-5.2.1: 16 Juli 2021

Fitur baru

Layanan	Perubahan
SmartData	Memperbarui SmartData ke versi 3.6.1. Untuk informasi selengkapnya, lihat Pengantar SmartData 3.6.x.
Hive	Memperbaiki masalah perintah `show create table` mengembalikan hasil yang salah saat menggunakan metadata Data Lake Formation (DLF). Mengoptimalkan parameter Hive default untuk meningkatkan kinerja pekerjaan. Mengubah nama item konfigurasi pada tab hive-env halaman Configuration layanan Hive di konsol E-MapReduce menjadi huruf kapital untuk memudahkan penggunaan. Memperbaiki kebocoran memori di HiveServer2 yang disebabkan oleh Fungsi yang Ditentukan Pengguna (UDF). Menyempurnakan pesan kesalahan yang ditampilkan saat Anda menulis data ke tabel Hive jika sistem file tidak konsisten dengan MetaStore.
HDFS	Menambahkan dukungan untuk format kompresi Zstandard (ZSTD).
Delta Lake	Memperbarui Delta Lake ke versi 0.8.0. Menambahkan dukungan untuk Spark 3.
Flink	Memperbarui Flink ke versi 1.12-vvr-3.0.2.
Hudi	Memperbarui Hudi ke versi 0.8.0. Menambahkan dukungan untuk integrasi dengan Spark SQL.
Spark	Penting Spark 3.1.1 di EMR-5.2.1 tidak kompatibel dengan Kudu 1.11.1. Menambahkan dukungan untuk format data lake Delta Lake dan Hudi. Menambahkan dukungan untuk Remote Shuffle Service. Menambahkan dukungan untuk Livy. Mengoptimalkan nama item konfigurasi pada tab spark-defaults halaman Configuration layanan Spark di konsol E-MapReduce. Mengoptimalkan fitur seperti Cost-Based Optimization (CBO), Dynamic Partition Pruning (DPP), dan Z-Order. Kinerja meningkat 50% dibandingkan dengan versi open source Spark 3. Menambahkan dukungan untuk sumber data seperti Alibaba Cloud Log Service, DataHub, dan Message Queue for Apache RocketMQ (ONS).
Tez	Mengoptimalkan parameter Tez default untuk meningkatkan kinerja pekerjaan.
Ranger	Memperbaiki kesalahan peringatan di log Spark yang terjadi saat Ranger diaktifkan. Memperbaiki masalah sinkronisasi pengguna otomatis gagal setelah terhubung ke LDAP.
Knox	Menambahkan dukungan untuk komponen Kudu. Menambahkan dukungan untuk komponen Hbase.
Kafka	Menambahkan dukungan untuk komponen Cruise Control untuk menyediakan fitur penyeimbangan untuk kluster Kafka. Memperkenalkan fitur hot-swapping untuk disk Kafka. Anda dapat mengganti disk yang rusak tanpa menghentikan atau memulai broker. Memodifikasi nilai default beberapa parameter.
Phoenix	Memperbaiki masalah kesalahan "JDBC Driver not found" dilaporkan saat Hive dan Spark SQL digunakan untuk mengakses tabel Phoenix.
ESS (EMR Remote Shuffle Service)	Menambahkan dukungan untuk Spark 3.