Rilis seri EMR-3.x - E-MapReduce - Alibaba Cloud Documentation Center

EMR-3.55.x

Tanggal rilis

Version	Date
EMR-3.55.0	27 Oktober 2025

Pembaruan

Service	Change
Ranger	Jindoauth Server kini memungkinkan pengguna client menggunakan RAM role kustom untuk mengakses OSS. Memperbaiki dependensi yang hilang pada plugin Ranger YARN.
Paimon	Ditingkatkan ke 1-ali-16.3.
JindoCache	Ditingkatkan ke 6.10.1.

Versi komponen

Kluster DataLake

Service	Version
Hadoop-Common	2.8.5
HDFS	2.8.5
OSS-HDFS	1.0.0
Hive	2.3.9
Spark 2	2.4.8
Spark 3	3.4.2
YARN	2.8.5
Trino	422
Delta Lake	3.0.0
Hudi	0.15.0
Iceberg	1.5.0
Flume	1.11.0
Kyuubi	1.9.2
Tez	0.10.2
OpenLDAP	2.4.46
Ranger	2.3.0
Ranger plugin	1.0.0
Sqoop	1.4.7
DLF-Auth	2.0.2
Presto	0.283
ZooKeeper	3.8.4
Knox	1.5.0
Celeborn	0.5.2
JindoCache	6.10.1
Paimon	1-ali-16.3

Kluster OLAP

Service	Version
StarRocks 2	2.5.22
StarRocks 3	3.2.11
Doris	2.1.4
ClickHouse	23.8.2.7
ZooKeeper	3.8.4

Kluster DataFlow

Service	Version
Hadoop-Common	2.8.5
HDFS	2.8.5
OSS-HDFS	1.0.0
YARN	2.8.5
OpenLDAP	2.4.46
Ranger	2.3.0
Ranger plugin	1.0.0
ZooKeeper	3.8.4
Knox	1.5.0
Flink	1.17.2
Paimon	1-ali-16.3

Kluster DataServing

Service	Version
Hadoop-Common	2.8.5
HDFS	2.8.5
OSS-HDFS	1.0.0
OpenLDAP	2.4.46
Ranger	2.3.0
Ranger plugin	1.0.0
ZooKeeper	3.8.4
Knox	1.5.0
HBase	1.7.1
JindoCache	6.10.1
Phoenix	4.16.1

Kluster Kustom

Service	Version
Hadoop-Common	2.8.5
HDFS	2.8.5
OSS-HDFS	1.0.0
Hive	2.3.9
Spark 2	2.4.8
Spark 3	3.4.2
YARN	2.8.5
Trino	422
Delta Lake	3.0.0
Hudi	0.15.0
Iceberg	1.5.0
Flume	1.11.0
Kyuubi	1.9.2
Tez	0.10.2
OpenLDAP	2.4.46
Ranger	2.3.0
Ranger plugin	1.0.0
Sqoop	1.4.7
DLF-Auth	2.0.2
Presto	0.283
StarRocks 2	2.5.22
StarRocks 3	3.2.11
ZooKeeper	3.8.4
Knox	1.5.0
Celeborn	0.5.2
Flink	1.17.2
HBase	1.7.1
JindoCache	6.10.1
Paimon	1-ali-16.3
Phoenix	4.16.1

EMR-3.54.x

Tanggal rilis

Version	Date
EMR-3.54.0	10 Juli 2025

Pembaruan

Service	Changes
Hive	Menyelesaikan masalah yang diketahui.
Tez	Menggabungkan perbaikan bug komunitas untuk meningkatkan performa dan stabilitas.

Versi komponen

Kluster DataLake

Service	Version
Hadoop-Common	2.8.5
HDFS	2.8.5
OSS-HDFS	1.0.0
Hive	2.3.9
Spark 2	2.4.8
Spark 3	3.4.2
YARN	2.8.5
Trino	422
Delta Lake	3.0.0
Hudi	0.15.0
Iceberg	1.5.0
Flume	1.11.0
Kyuubi	1.9.2
Tez	0.10.2
OpenLDAP	2.4.46
Ranger	2.3.0
Ranger plugin	1.0.0
Sqoop	1.4.7
DLF-Auth	2.0.2
Presto	0.283
ZooKeeper	3.8.4
Knox	1.5.0
Celeborn	0.5.2
JindoCache	6.8.2
Paimon	1-ali-6.2

Kluster OLAP

Service	Version
StarRocks 2	2.5.22
StarRocks 3	3.2.11
Doris	2.1.4
ClickHouse	23.8.2.7
ZooKeeper	3.8.4

Kluster DataFlow

Service	Version
Hadoop-Common	2.8.5
HDFS	2.8.5
OSS-HDFS	1.0.0
YARN	2.8.5
OpenLDAP	2.4.46
Ranger	2.3.0
Ranger plugin	1.0.0
ZooKeeper	3.8.4
Knox	1.5.0
Flink	1.17.2
Paimon	1-ali-6.2

Kluster DataServing

Service	Version
Hadoop-Common	2.8.5
HDFS	2.8.5
OSS-HDFS	1.0.0
OpenLDAP	2.4.46
Ranger	2.3.0
Ranger plugin	1.0.0
ZooKeeper	3.8.4
Knox	1.5.0
HBase	1.7.1
JindoCache	6.8.2
Phoenix	4.16.1

Kluster Kustom

Service	Version
Hadoop-Common	2.8.5
HDFS	2.8.5
OSS-HDFS	1.0.0
Hive	2.3.9
Spark 2	2.4.8
Spark 3	3.4.2
YARN	2.8.5
Trino	422
Delta Lake	3.0.0
Hudi	0.15.0
Iceberg	1.5.0
Flume	1.11.0
Kyuubi	1.9.2
Tez	0.10.2
OpenLDAP	2.4.46
Ranger	2.3.0
Ranger plugin	1.0.0
Sqoop	1.4.7
DLF-Auth	2.0.2
Presto	0.283
StarRocks 2	2.5.22
StarRocks 3	3.2.11
ZooKeeper	3.8.4
Knox	1.5.0
Celeborn	0.5.2
Flink	1.17.2
HBase	1.7.1
JindoCache	6.8.2
Paimon	1-ali-6.2
Phoenix	4.16.1

EMR-3.53.x

Tanggal rilis

Version	Date
EMR-3.53.0	24 April 2025

Pembaruan

Service	Change
Trino	Memperbaiki masalah ketersediaan LDAP.
YARN	Memperbaiki cacat open-source (YARN-10213, YARN-6207, dan YARN-9339).
StarRocks	Menambahkan dukungan untuk kluster terpisah penyimpanan-komputasi.
JindoCache	Ditingkatkan ke 6.8.2.
EMRHOOK	Peningkatan stabilitas.

Informasi rilis

Kluster data lake

Service	Version
Hadoop-Common	2.8.5
HDFS	2.8.5
OSS-HDFS	1.0.0
Hive	2.3.9
Spark 2	2.4.8
Spark 3	3.4.2
YARN	2.8.5
Trino	422
Delta Lake	3.0.0
Hudi	0.15.0
Iceberg	1.5.0
Flume	1.11.0
Kyuubi	1.9.2
Tez	0.10.2
OpenLDAP	2.4.46
Ranger	2.3.0
Ranger-plugin	1.0.0
Sqoop	1.4.7
DLF-Auth	2.0.2
Presto	0.283
ZooKeeper	3.8.4
Knox	1.5.0
Celeborn	0.5.2
JindoCache	6.8.2
Paimon	1-ali-6.2

Kluster OLAP

Service	Version
StarRocks 2	2.5.22
StarRocks 3	3.2.11
Doris	2.1.4
ClickHouse	23.8.2.7
ZooKeeper	3.8.4

Kluster aliran data

Service	Version
Hadoop-Common	2.8.5
HDFS	2.8.5
OSS-HDFS	1.0.0
YARN	2.8.5
OpenLDAP	2.4.46
Ranger	2.3.0
Ranger-plugin	1.0.0
ZooKeeper	3.8.4
Knox	1.5.0
Flink	1.17.2
Paimon	1-ali-6.2

Kluster penyajian data

Service	Version
Hadoop-Common	2.8.5
HDFS	2.8.5
OSS-HDFS	1.0.0
OpenLDAP	2.4.46
Ranger	2.3.0
Ranger-plugin	1.0.0
ZooKeeper	3.8.4
Knox	1.5.0
HBase	1.7.1
JindoCache	6.8.2
Phoenix	4.16.1

Kluster Kustom

Service	Version
Hadoop-Common	2.8.5
HDFS	2.8.5
OSS-HDFS	1.0.0
Hive	2.3.9
Spark 2	2.4.8
Spark 3	3.4.2
YARN	2.8.5
Trino	422
Delta Lake	3.0.0
Hudi	0.15.0
Iceberg	1.5.0
Flume	1.11.0
Kyuubi	1.9.2
Tez	0.10.2
OpenLDAP	2.4.46
Ranger	2.3.0
Ranger-plugin	1.0.0
Sqoop	1.4.7
DLF-Auth	2.0.2
Presto	0.283
StarRocks 2	2.5.22
StarRocks 3	3.2.11
ZooKeeper	3.8.4
Knox	1.5.0
Celeborn	0.5.2
Flink	1.17.2
HBase	1.7.1
JindoCache	6.8.2
Paimon	1-ali-6.2
Phoenix	4.16.1

EMR-3.52.x

Tanggal rilis

Version	Date
EMR-3.52.1	18 Desember 2024
EMR-3.52.0 (Tidak tersedia untuk pembelian baru)	4 Desember 2024

Pembaruan

Service	Changes
Spark	Memperbaiki masalah konfigurasi yang terjadi selama skala keluar. Memperbaiki kegagalan koneksi SASL intermiten pada kluster Kerberos.
Hive	Memperbaiki masalah konfigurasi yang terjadi selama skala keluar.
Trino	Memperbaiki masalah yang mencegah koneksi setelah mengaktifkan LDAP.
Presto
ZooKeeper	Menambahkan dukungan untuk konfigurasi kustom.
Ranger	Mengganti plugin Ranger Spark 3 dengan yang berasal dari proyek open-source Kyuubi.
Hudi	Ditingkatkan ke 0.15.0.
Celeborn	Ditingkatkan ke 0.5.2.
JindoCache	Ditingkatkan ke 6.5.3.
StarRocks 3	Ditingkatkan ke 3.2.11.
Kyuubi	Ditingkatkan ke 1.9.2.
StarRocks 2	Ditingkatkan ke 2.5.22.
Impala	Layanan tidak tersedia. Anda dapat menggunakan layanan yang direkomendasikan sebagai alternatif atau menginstal layanan yang sesuai secara manual. Anda dapat mengganti Impala dengan Presto, Trino, ClickHouse, atau StarRocks.
Kudu
Kafka
Kafka-Manager

EMR-3.51.x

Tanggal rilis

Version	Release date
EMR-3.51.4	18 Desember 2024
EMR-3.51.3 (Tidak tersedia untuk pembelian baru)	29 November 2024
EMR-3.51.2 (Tidak tersedia untuk pembelian baru)	29 Agustus 2024
EMR-3.51.1 (Tidak tersedia untuk pembelian baru)	21 Juni 2024
EMR-3.51.0 (Tidak tersedia untuk pembelian baru)	23 April 2024

Pembaruan

EMR-3.51.4

Service	Change
JindoCache	Ditingkatkan ke 6.5.3.
StarRocks 2	Ditingkatkan ke 2.5.22.
StarRocks 3	Ditingkatkan ke 3.2.11.

EMR-3.51.3

Service	Description
JindoSDK	JindoSDK diperbarui untuk menyelesaikan masalah yang menyebabkan deadlock.

EMR-3.51.2

Service	Description
JindoCache	JindoCache diperbarui ke 6.5.1. Performa membaca dan menulis data ke tabel hash terdistribusi ditingkatkan.
Spark	Masalah direktori partisi yang tidak dapat dihapus telah diperbaiki. Masalah terkait dependensi paket Hive telah diperbaiki. Hal ini memastikan bahwa koneksi antara Spark dan klien Metastore tetap tidak terganggu.
Trino	Masalah beberapa konfigurasi yang dimodifikasi secara tak terduga dikembalikan ke konfigurasi asli selama skala keluar telah diperbaiki. Data dalam layanan OSS-HDFS yang diterapkan di kluster keamanan tinggi dapat diquery. Masalah pengecualian pada Trino setelah DLF-Auth diaktifkan telah diperbaiki.
Presto	Data dalam layanan OSS-HDFS yang diinstal di kluster keamanan tinggi dapat diquery.
HDFS	Masalah ukuran memori NameNode dan DataNode yang tidak dapat dimodifikasi telah diperbaiki.
HBase-HDFS
YARN	Banyak event timeline dapat dikirim oleh ResourceManager sekaligus, yang meningkatkan kemampuan pemrosesan. Masalah logika dalam pemrosesan container dan sumber daya ResourceManager telah diperbaiki.
ZooKeeper	Masalah konfigurasi memori grup node yang tidak dapat dimodifikasi telah diperbaiki. File konfigurasi log dapat direkonstruksi.
Impala	Masalah konfigurasi klien yang dimodifikasi secara tak terduga selama aktivitas penskalaan otomatis telah diperbaiki.
Ranger	Versi terbaru JindoSDK didukung, yang secara efektif mengurangi Beban CPU.
Knox	Masalah berikut telah diperbaiki: URL Knox gagal diakses ketika kluster hanya memiliki satu grup node Master Extend.
Kafka	Masalah berikut telah diperbaiki: Kluster EMR tempat Kafka Connect diterapkan gagal dimulai.
StarRocks	Masalah node BE yang ditambahkan tidak ditampilkan setelah skala keluar telah diperbaiki.
Doris	Doris diperbarui ke 2.1.4.
Paimon	Paimon diperbarui ke 0.9-ali-7.
EMR-HOOK	Informasi lineage tabel MaxCompute dapat diurai.

EMR-3.51.1

Service	Change
Spark	Menambahkan dukungan untuk menerapkan grup node Master-Extend.
Hive
Kyuubi
Paimon	Mengganti dependensi pada versi Flink VVR dengan edisi komunitas dan menambahkan dukungan untuk Katalog DLF.
Knox	Dikemas dengan JDK 8.
Flink	Memulihkan konfigurasi dan dependensi Pembentukan Danau Data (DLF) yang dihapus di EMR-3.51.0.

EMR-3.51.0

Service	Change
Spark	Meningkatkan Spark 3 ke 3.4.2.
Celeborn	Ditingkatkan ke 0.4.0.
Doris	Ditingkatkan ke 2.1.0.
StarRocks	Meningkatkan StarRocks 2 ke 2.5.18. Meningkatkan StarRocks 3 ke 3.2.4.
Delta Lake	Ditingkatkan ke 3.0.0.
Iceberg	Ditingkatkan ke 1.5.0.
ZooKeeper	Ditingkatkan ke 3.8.4.
JindoCache	Ditingkatkan ke 6.2.5.
Flink	Ditingkatkan ke 1.17.2.

EMR-3.50.x

Tanggal rilis

Version	Date
EMR-3.50.0	19 Februari 2024

Pembaruan

Service	Changes
Hudi	Ditingkatkan ke versi 0.14.0.
Flume	Ditingkatkan ke versi 1.11.0.
Kyuubi	Ditingkatkan ke versi 1.7.3.
Impala	Ditingkatkan ke versi 4.3.0.
Celeborn	Ditingkatkan ke versi 0.3.2.
JindoCache	Ditingkatkan ke versi 6.2.0.
Paimon	Ditingkatkan ke versi 0.7-ali-1.
Kafka	Ditingkatkan ke versi 3.6.1. Memperbaiki kerentanan otentikasi SASL di Kafka Connect.
Spark	Memperbaiki kerentanan di Commons Text.
StarRocks	Meningkatkan StarRocks 2 ke versi 2.5.13. Meningkatkan StarRocks 3 ke versi 3.1.5.
Ranger	Memperbaiki kerentanan di Commons Text. Memperbaiki kerentanan bypass izin pencocokan path di Spring Security. Memperbaiki kerentanan bypass otentikasi forward/include di Spring Security. Memperbaiki kerentanan bypass otentikasi pencocokan pola khusus di Spring Framework. Periode sinkronisasi pengguna LDAP Ranger kini dapat dikonfigurasi.

EMR-3.49.x

Tanggal rilis

Version	Date
EMR-3.49.1	16 November 2023
EMR-3.49.0 (Tidak tersedia untuk pembelian)	27 Oktober 2023

Pembaruan

Component	Change
JindoCache	Menambahkan komponen JindoCache, versi 6.1.1.
JindoData	JindoData tidak tersedia. Anda dapat menggunakan JindoCache untuk caching data dan DLF-Auth untuk otentikasi.
Spark	Menghapus konfigurasi terkait `jdo` dari hive-site.xml.
HBase	Menambahkan opsi konfigurasi untuk memilih versi HBase Thrift Server (v1 atau v2).
StarRocks	Meningkatkan StarRocks ke 2.5.10.
Doris	Meningkatkan Doris ke 1.2.7.
Celeborn	Meningkatkan Celeborn ke 0.3.1.
Paimon	Meningkatkan Paimon ke 0.6-ali-2.
ClickHouse	Meningkatkan ClickHouse ke 23.8.2.7.

EMR-3.48.x

Tanggal rilis

Version	Date
EMR-3.48.2	17 Agustus 2023

Pembaruan

Service	Description
Trino	Memperbaiki masalah konektor Paimon yang tidak dapat mengquery tabel HDFS. Memperbaiki masalah metrik node pekerja yang tidak dapat dibaca.
Presto	Ditingkatkan ke versi 0.283. Memperbaiki masalah metrik node pekerja yang tidak dapat dibaca.
ClickHouse	Pengguna default kini diberikan semua izin.
StarRocks	Mengganti nama layanan StarRocks yang ada menjadi StarRocks2. Menambahkan StarRocks3 (versi 3.1.2), yang secara default menggunakan integrasi komputasi-penyimpanan. Pemisahan komputasi-penyimpanan tidak didukung.
Celeborn	Ditingkatkan ke versi 0.3.0.

EMR-3.47.x

Tanggal rilis

Version	Release date
EMR-3.47.0	3 Agustus 2023

Pembaruan

Service	Description
Hudi	Ditingkatkan ke versi 0.13.1.
Paimon	Ditingkatkan ke versi 0.5-ali-1.
StarRocks	Ditingkatkan ke versi 2.5.8.
JindoData	Ditingkatkan ke versi 4.6.11.
Trino	Ditingkatkan ke versi 422. Menambahkan dukungan untuk mengquery tabel merge on read (MOR) dengan konektor Hudi. Pesan error untuk pemuatan UDF dinamis ditingkatkan.

EMR-3.46.x

Tanggal rilis

Version	Date
EMR-3.46.1	13 Juli 2023
EMR-3.46.0 (Tidak tersedia untuk pembelian)	1 Juni 2023

Pembaruan

EMR-3.46.1

Service	Description
Spark	Secara default, OSS-HDFS digunakan untuk menyimpan data Spark History Server. OSS atau OSS-HDFS digunakan untuk menyimpan data Spark3 Native Engine.
Hive	Secara default, OSS-HDFS digunakan untuk menyimpan data di file gudang Hive.
OSS-HDFS	Layanan OSS-HDFS ditambahkan.
YARN	Secara default, OSS-HDFS digunakan untuk menyimpan data.
HBase	Secara default, OSS-HDFS digunakan untuk menyimpan data HBase dalam format HFile. OSS-HDFS digunakan untuk menyimpan log write-ahead logging (WAL) HBase.

EMR-3.46.0

Service	Description
Kyuubi	Ditingkatkan ke versi 1.7.1.
Celeborn	Ditingkatkan ke versi 0.2.2.
Paimon	Flink Table Store diganti namanya menjadi Paimon. Ditingkatkan ke versi 0.4-ali-1.
StarRocks	Ditingkatkan ke versi 2.5.5.
Doris	Ditingkatkan ke versi 1.2.4.
ClickHouse	Ditingkatkan ke versi 22.8.17.17.
Trino	Secara default menyertakan pendengar event sederhana untuk mengambil log audit.
Phoenix	Menambahkan dukungan untuk Hive on Phoenix.

EMR-3.45.x

Tanggal rilis

Version	Date
EMR-3.45.1	3 April 2023
EMR-3.45.0 (Tidak tersedia untuk pembelian baru)	28 Februari 2023

Pembaruan

EMR-3.45.1

Service	Description
ClickHouse	ClickHouse diperbarui ke 22.8.14.53.
Trino	Konektor odps.properties ditambahkan. Hal ini memungkinkan Anda mengquery data MaxCompute.
JindoData	JindoData diperbarui ke 4.6.5.
JindoSDK	JindoSDK diperbarui ke 4.6.5.
Flink Table Store	Flink Table Store diperbarui ke 0.3-ali-2.
YARN	Fitur Node Labels didukung.

EMR-3.45.0

Service	Description
Iceberg	Ditingkatkan ke versi 1.1.0.
Hudi	Ditingkatkan ke versi 0.12.2. Memperkenalkan dukungan untuk Change Data Capture (CDC).
Kudu	Ditingkatkan ke versi 1.16.0.
ClickHouse	Ditingkatkan ke versi 22.3.8.39. Saat menginstal layanan ClickHouse, Anda juga harus memilih ZooKeeper.
Celeborn	Remote Shuffle Service (RSS) diganti namanya menjadi Celeborn. Celeborn kini versi 0.2.0.
Presto	Layanan Presto kini tersedia. Layanan ini menggunakan kernel komunitas Facebook PrestoDB 0.278.3 dan secara default menggunakan port 8889 untuk HTTP dan port 7779 untuk HTTPS.
Delta Lake	Ditingkatkan ke versi 2.2.0.
StarRocks	Ditingkatkan ke versi 2.4.3.
Doris	Ditingkatkan ke versi 1.2.1.
Kafka Manager	Ditingkatkan ke versi 3.0.0.6.
Impala	Layanan ini telah dipensiunkan.
OpenLDAP	Ditingkatkan ke versi 2.4.46.
Kyuubi	Ditingkatkan ke versi 1.6.1.
Ranger	Ditingkatkan ke versi 2.3.0.
HBase	Kini mendukung ThriftServer2. Nilai default parameter hbase.block.data.cachecompressed kini true.
Flink Table Store	Memperkenalkan layanan Flink Table Store, berdasarkan versi komunitas 0.3.
JindoData	Ditingkatkan ke versi 4.6.4.

EMR-3.44.x

Tanggal rilis

EMR-3.44.0 dirilis pada 1 Desember 2022.

Perubahan

Service	Changes
Iceberg	Ditingkatkan ke versi 0.14.1.
Flink	Ditingkatkan ke Flink 1.15-vvr-6.0.2, yang berbasis pada versi utama Apache Flink 1.15.
Kafka	Menambahkan dukungan untuk otentikasi dan otorisasi logon pengguna menggunakan LDAP. Menambahkan dukungan untuk otorisasi grup pengguna.
Trino	EMR Presto diganti namanya menjadi Trino, nama resmi komunitasnya. Menambahkan dukungan untuk Ranger dan DLF-Auth. Memperbaiki masalah koneksi ke node pekerja gagal setelah LDAP diaktifkan.
JindoSDK	Ditingkatkan ke versi 4.6.2.
JindoData	Ditingkatkan ke versi 4.6.2.
HBase	Menambahkan dukungan untuk Ranger. Memperbaiki masalah yang mencegah pemilihan OSS-HDFS sebagai mode penyimpanan saat menambahkan layanan.
YARN	Fitur Access Control List (ACL) kini diaktifkan secara default dalam mode keamanan.
StarRocks	Ditingkatkan ke versi 2.3.4.
Doris	Ditingkatkan ke versi 1.1.5.
Hudi	Menambahkan dukungan untuk mengonfigurasi hudi-defaults.conf di konsol.
Ranger	Menambahkan integrasi dengan Trino, YARN, HBase, dan Kafka.
DLF-Auth	Ditingkatkan ke versi 2.0.2. Menambahkan dukungan untuk Trino dan Impala.
OpenLDAP	Diintegrasikan dengan komponen Nslcd.
Kudu	Kudu TServer tidak dapat lagi diinstal pada grup node tugas.
Spark	Ditingkatkan ke versi 3.3.1.
Tez	Ditingkatkan ke versi 0.10.2.
Kyuubi	Ditingkatkan ke versi 1.6.0.

EMR-3.43.x

Tanggal rilis

Version	Date
EMR-3.43.1	8 November 2022
EMR-3.43.0 (Tidak tersedia untuk pembelian baru)	14 Oktober 2022

Pembaruan

EMR-3.43.1

Service	Change
Kerberos	Anda kini dapat menghubungkan EMR ke KDC eksternal.
Kafka	Menambahkan opsi perintah startup untuk menyesuaikan parameter startup layanan.
JindoData	Ditingkatkan ke 4.6.0. Anda kini dapat menulis ulang path akses OSS-HDFS.
Flink	Ditingkatkan ke 1.13_vvr_4.0.15.
RSS	Ditingkatkan ke 0.1.4.

EMR-3.43.0

Service	Change
Spark	Ditingkatkan ke 3.3. Kini mendukung otentikasi Kerberos.
Hudi	Ditingkatkan ke 0.12.0. Menambahkan dukungan untuk Spark 3.3. Anda kini dapat menyimpan metadata di cloud metastore dan mengaktifkan fitur akselerasi. Untuk informasi lebih lanjut, lihat Panduan penggunaan metastore Hudi.
Flink	Kini mendukung otentikasi Kerberos. Kini mendukung koneksi otomatis ke Pembentukan Danau Data (DLF).
Iceberg	Ditingkatkan ke 0.14.0. Menambahkan dukungan untuk Spark 3.3. Kini mendukung otentikasi Kerberos.
JindoData	Ditingkatkan ke 4.5.1. Anda kini dapat mengakses sumber daya Alibaba Cloud tanpa AccessKey teks biasa.
Hadoop-Common dan HDFS	Kini mendukung otentikasi Kerberos. Memperbaiki kerentanan CVE-2022-25168.
Knox	Diintegrasikan dengan Ranger. Anda dapat mengakses UI Ranger dari tab Access Links and Ports.
HBase	Ditingkatkan ke 1.7.1. Kini mendukung otentikasi Kerberos. Kini mendukung konfigurasi grup node.
RSS	Ditingkatkan ke 0.1.2. Kini mendukung otentikasi Kerberos.
Doris	Ditingkatkan ke 1.1.2. Kini mendukung otentikasi Kerberos.
StarRocks	Ditingkatkan ke 2.2.6. Kini mendukung otentikasi Kerberos.
Kafka	Ditingkatkan ke 2.13_3.2.1. Kini mendukung otentikasi Kerberos.
Delta Lake	Ditingkatkan ke 2.1.0. Menambahkan dukungan untuk Spark 3.3. Kini mendukung otentikasi Kerberos.
Kudu	Komponen Kudu, versi 1.14.0, kini tersedia.
Impala	Anda kini dapat membuat tampilan dengan menggunakan Pembentukan Danau Data (DLF). Kini mendukung otentikasi Kerberos.
YARN, Impala, Ranger, Hive, Kyuubi, Tez, Kafka, ZooKeeper, DLF-Auth, Phoenix, Sqoop, dan Presto	Kini mendukung otentikasi Kerberos.

EMR-3.42.x

Tanggal rilis

EMR-3.42.0 dirilis pada 5 Agustus 2022.

Perubahan

Service	Changes
Hive	Menambahkan dukungan untuk integrasi LDAP sekali klik.
Presto	Ditingkatkan ke versi komunitas 389. Menggunakan konektor standalone komunitas untuk Delta Lake dan Hudi. Konektor Delta Lake pada versi ini tidak mendukung fitur Time Travel atau Z-Order. Konektor Hudi tidak mendukung pengquery-an tabel MOR. Menambahkan dukungan untuk integrasi LDAP sekali klik.
Delta Lake	Kini diintegrasikan dengan Pembentukan Danau Data untuk mengelola tabel danau secara otomatis. Kini mendukung otentikasi Ranger. Memperbaiki masalah yang mencegah pengumpulan statistik untuk bidang `TIMESTAMP`. Perintah `optimize` dan `vacuum` kini mengembalikan metrik.
Hudi	Ditingkatkan ke versi 0.11.1.
Hadoop Common	Menambahkan komponen Hadoop Common untuk menyelesaikan konflik konfigurasi antara HDFS, YARN, dan JindoSDK.
YARN	Menyempurnakan penskalaan otomatis.
Ranger	Kini mendukung Spark 2 dan Spark 3. Kini mendukung integrasi LDAP sekali klik dengan Ranger UserSync.
Kafka	Cruise Control kini secara otomatis membuat topik yang diperlukan saat startup.
HBase	Menambahkan komponen HBase, versi 1.4.9.
Phoenix	Menambahkan komponen Phoenix, versi 4.14.1.
Doris	Ditingkatkan ke versi 1.1.1.
StarRocks	Ditingkatkan ke versi 2.2.3.
ClickHouse	Memperbaiki error kehabisan memori (OOM) saat membaca file besar dari Object Storage Service.

EMR-3.40.x

Tanggal rilis

EMR-3.40.0 dirilis pada 21 April 2022.

Pembaruan

Component	Description
JindoData	Ditambahkan sebagai komponen baru dalam versi 4.3.0.
JindoSDK	Ditingkatkan ke 4.3.0.
Spark	Ditingkatkan ke 3.2.1.
Hive	Memperbaiki masalah yang menyebabkan commit ganda di Tez saat eksekusi spekulatif diaktifkan. Memperbaiki masalah di mana UDF harus dimuat ulang sebelum dipanggil.
Presto	Memperbaiki masalah di mana layanan Presto gagal dimulai saat ditambahkan ke kluster Hadoop yang telah diinisialisasi.
Delta Lake	Memperbaiki masalah kompatibilitas dengan Streaming SQL.
Hudi	Ditingkatkan ke 0.10.1.
Iceberg	Ditingkatkan ke 0.13.1.
YARN	Menambahkan opsi konfigurasi untuk membatasi Application Masters (AM) ke node inti. Memperbaiki masalah di mana taihaodoctor hilang dari konfigurasi mapreduce.map.java.opts.
ZooKeeper	Parameter JVM dioptimalkan.
Flink	Diadaptasi untuk JindoSDK 4.3.0.
Impala
Flume
Druid
Sqoop	Versi PostgreSQL ditingkatkan.
Zeppelin	Memperbaiki masalah di mana interpreter JDBC gagal dimulai.
Ranger	Plugin Ranger 1.2.0 Spark kini mendukung Hudi.
Oozie	Log4j ditingkatkan ke 2.17.2.
HBase	Memperbaiki masalah di mana RegionServer untuk HBase 1.4.9 gagal dimulai.
DLF-Auth	Ditingkatkan ke 2.0.0.

EMR-3.39.x

Tanggal rilis

Version	Date
EMR-3.39.2	25 Maret 2022
EMR-3.39.1 (Tidak tersedia untuk pembelian)	15 Februari 2022

Pembaruan

EMR-3.39.2

Catatan

Versi ini hanya tersedia untuk kluster OLAP dan kluster Dataflow di konsol EMR baru.

Service	Updates
Flink	Dasbor APM disempurnakan dan metrik baru ditambahkan, seperti `sourceIdleTime`. Menambahkan dukungan untuk peringatan CloudMonitor.
Kafka	Menambahkan dukungan untuk konfigurasi SSL dan SASL. Mengubah nilai default beberapa parameter.
ClickHouse	Mengubah nilai default beberapa parameter.

EMR-3.39.1

Service	Updates
SmartData	Komponen ini telah dipensiunkan.
BIGBOOT	Komponen ini telah dipensiunkan.
RSS	ESS EMR Remote Shuffle Service ditingkatkan ke RSS. Untuk informasi lebih lanjut, lihat RSS. Fungsionalitas dan stabilitas layanan ditingkatkan.
JindoSDK	Arsitektur ditingkatkan ke JindoData. Ini adalah rilis pertama yang mengintegrasikan JindoSDK 4.0 di EMR, dengan dukungan untuk OSS dan layanan OSS-HDFS.
Spark	Hive on Spark dioptimalkan. Spark diadaptasi untuk JindoSDK.
Tez	Tez diadaptasi untuk JindoSDK.
Hive	Hive diadaptasi untuk JindoSDK.
Presto	Menambahkan dukungan untuk pemuatan UDF dinamis. Menambahkan dukungan untuk query time travel pada tabel Delta Lake dengan menggunakan sintaks `FOR ... AS OF`. Menambahkan katalog Delta Lake standalone dengan pengaturan konektor Delta default. Katalog ini juga mendukung optimasi pengabaian data Z-order. Memperbaiki masalah di mana konektor Hudi tidak dapat mengquery tabel Hudi MOR. Konektor Hive masih tidak mendukung pengquery-an tabel Hudi MOR. Presto diadaptasi untuk JindoSDK.
Delta Lake	Manajemen metadata Delta Lake kini menggunakan katalog Spark bawaan untuk menyinkronkan metadata dan informasi partisi, bukan API CLI Hive. Delta Lake kini secara otomatis melaporkan statistik tabel (profiling data) ke metastore. SQL Menambahkan dukungan untuk sintaks time travel. Menambahkan dukungan untuk sintaks `DROP PARTITION`. Menambahkan dukungan untuk operasi `ADD COLUMN` pada posisi tertentu (`FIRST` dan `AFTER`). Kemampuan manajemen tabel ditingkatkan Menambahkan fitur untuk menyesuaikan ukuran file secara dinamis berdasarkan ukuran tabel. Fitur ini diaktifkan secara default. Vacuum otomatis diaktifkan secara default dan menambahkan dukungan untuk operasi vacuum konkuren. Logika auto-compaction dioptimalkan. Fitur ini dinonaktifkan secara default. Menambahkan sintaks Z-order dan meningkatkan performa Z-order.
Hudi	Ditingkatkan ke 0.10.0.
HDFS	HDFS diadaptasi untuk JindoSDK.
YARN	YARN diadaptasi untuk JindoSDK.
Flume	Flume diadaptasi untuk JindoSDK.
Flink	Secara default, direktori lib Flink diunggah ke kluster HDFS, yang memungkinkan Anda menggunakan direktori tersebut dengan parameter yarn.provided.lib.dirs. Flink diadaptasi untuk JindoSDK.
Impala	Impala diadaptasi untuk JindoSDK.
Ranger	Memperbaiki masalah di mana Spark History Server gagal dimulai. Ranger diadaptasi untuk JindoSDK.
HBase	Memperbaiki masalah parameter default. Memperbaiki masalah format tanggal dalam log GC. Memperbaiki masalah restart yang terjadi saat menggunakan alamat IP untuk RegionServer.
Druid	Druid diadaptasi untuk JindoSDK.
ClickHouse	Logika penghentian komponen ClickHouse dioptimalkan.
Iceberg	Ditingkatkan ke 0.13.0. Item konfigurasi default disembunyikan untuk meningkatkan kegunaan.
DLF-Auth	Memperbaiki masalah di mana Spark History Server gagal dimulai.
StarRocks	Layanan ini kini tersedia di konsol EMR baru. Versi 2.0.1 tersedia.

E-MapReduce (EMR) 3.38.x

Tanggal rilis

Version	Release date
EMR-3.38.3	Desember 2021
EMR-3.38.2 (Tidak tersedia untuk pembelian)	Desember 2021
EMR-3.38.1 (Tidak tersedia untuk pembelian)	November 2021
EMR-3.38.0 (Tidak tersedia untuk pembelian)	Oktober 2021

Pembaruan

EMR-3.38.3

Memperbaiki kerentanan keamanan Log4j di semua komponen terkait. Untuk detailnya, lihat Buletin keamanan | Kerentanan eksekusi kode jarak jauh Apache Log4j2.

Service	Updates
Presto	Memperbaiki masalah di mana Presto di kluster ketersediaan tinggi gagal mengquery tabel Hudi. Memperbaiki kerentanan Log4j di konektor Elasticsearch.
Metastore Pembentukan Danau Data (DLF)	Pencatatan log metastore dinonaktifkan secara default. Memperbaiki error yang disebabkan oleh URI `gettablestats` yang terlalu panjang di metastore.
Delta Lake	Memperbaiki masalah perubahan skema yang tidak disinkronkan ke metastore.
Flink	VVR ditingkatkan ke 4.0.11. Versi ini mencakup fitur-fitur berikut: Memperkenalkan fitur Flink CDC komersial: Menambahkan dukungan untuk Evolusi Skema. Menambahkan dukungan untuk semantik Flink SQL untuk sinkronisasi seluruh database. Menambahkan dukungan untuk menggunakan GeminiStateBackend guna menyimpan state di Object Storage Service (OSS). Menambahkan konektor Hudi Edisi Perusahaan dengan DLF (Pembentukan Danau Data) bawaan untuk manajemen metadata.
Sqoop	Memperbaiki kehilangan presisi untuk tipe DECIMAL saat Sqoop mengimpor data ke tabel HCatalog.

EMR-3.38.2

Service	Updates
SmartData	SmartData ditingkatkan ke 3.8.0. Untuk detailnya, lihat Pengantar SmartData 3.8.x. Menambahkan dukungan untuk otentikasi berbasis Kerberos dan otorisasi berbasis Ranger untuk Object Storage Service (OSS).

EMR-3.38.1

Service	Updates
SmartData	SmartData ditingkatkan ke 3.7.3. Untuk detailnya, lihat Pengantar SmartData 3.7.x.
Spark	Menghapus konfigurasi MetricsAppender Log4j yang tidak valid. Memperbaiki pengecualian pointer null selama startup SparkContext.
Presto	Memperbaiki masalah di mana Presto di kluster Hadoop ketersediaan tinggi memerlukan konfigurasi host untuk mengquery tabel Hive. Memperbaiki masalah di mana Presto tidak dapat dimulai dengan konfigurasi default pada node bermemori rendah. Memperbaiki masalah di mana perubahan pada konfigurasi worker-jvm tidak berlaku. Menambahkan dukungan untuk Ranger.
Impala	Memperbaiki masalah di mana `no such method error` terjadi saat Anda mengquery tabel metadata DLF.
Ranger	Menambahkan dukungan untuk Presto. Memperbaiki masalah izin untuk insert Ranger Spark ke tabel ORC dan PARQUET. Memperbaiki masalah di mana izin peran Ranger Hive tidak berlaku setelah Kerberos diaktifkan.
Otentikasi Pembentukan Danau Data (DLF)	Otentikasi DLF ditingkatkan ke 1.0.1. Menambahkan dukungan untuk menggunakan Pembentukan Danau Data (DLF) untuk mengontrol izin Presto. Memperbaiki masalah caching yang memengaruhi pengguna RAM.

EMR-3.38.0

Service	Updates
SmartData	SmartData ditingkatkan ke 3.7.2. Untuk detailnya, lihat Pengantar SmartData 3.7.x.
Spark	Spark ditingkatkan ke 2.4.8. Mendukung Spark 2.4.8 dan Spark 3.1.2. Catatan Spark 3 tidak mendukung Delta Lake atau Remote Shuffle Service. Pada Spark 3.x, SparkSQL mengoptimalkan komputasi DISTINCT. Optimasi ini dipicu ketika operator agregasi berisi beberapa ekspresi `count(distinct case ... when ...)`. Memperbaiki masalah indeks array di luar batas dalam Adaptive Query Execution (AQE) saat statistik tidak tersedia. Memperbaiki masalah AQE dan caching dalam skenario tertentu.
Hive	Hive ditingkatkan ke 2.3.9.
Presto	Menambahkan dukungan untuk kluster Presto standalone. Presto ditingkatkan ke versi komunitas 358. Penting Versi ini tidak mendukung Ranger. Secara default menambahkan dukungan untuk konektor seperti Hudi dan MySQL, serta memperbarui konfigurasi default. Mengaktifkan penskalaan otomatis untuk kluster Presto. Menambahkan dukungan untuk analisis data lake.
Delta Lake	Menyatukan konektor Delta Lake untuk Hive 2 dan Hive 3. Memperbaiki error di konektor Delta Lake saat mengquery tabel partisi multi-level.
Hudi	Hudi ditingkatkan ke 0.9.0. Memperbaiki masalah kompatibilitas antara `sql.extension` antara Delta Lake dan Hudi.
HDFS	Meningkatkan ruang yang dicadangkan default untuk NameNode agar secara adaptif memasuki mode Aman saat ruang disk hampir habis.
Flink	Flink ditingkatkan ke 1.13-vvr-4.0.10, yang sesuai dengan Flink komunitas 1.13.1. Menambahkan konektor Flink komersial, seperti konektor Hologres. Menambahkan pelapor metrik untuk diintegrasikan dengan dasbor APM. Untuk konektor Kafka, menambahkan katalog Kafka berbasis SchemaRegistry. Anda dapat membaca dan menulis data ke topik Kafka yang ada tanpa menggunakan DDL.
Storm	Komponen ini telah dipensiunkan.
Zeppelin	Zeppelin ditingkatkan ke versi komunitas 0.10.0.
Ranger	Versi Ranger ini tidak mendukung kontrol izin untuk Presto versi komunitas 358.
Hue	Memperbaiki masalah di mana YARN Job Browser tidak dapat menampilkan atau menghentikan pekerjaan dalam beberapa kasus. Mengaktifkan YARN Job Browser dalam konfigurasi default. Mengaktifkan protokol Presto dalam konfigurasi default.
Druid	Memperbaiki masalah di mana file PID yang tersisa setelah pemadaman listrik dapat mencegah node melakukan restart.
ClickHouse	Memperbarui konfigurasi default. Menambahkan dukungan untuk skala keluar kluster. Mendukung fitur MetaChecker. Menambahkan dukungan untuk membaca data menggunakan mesin tabel dan fungsi tabel Object Storage Service (OSS). Menambahkan dukungan untuk alamat ZooKeeper kustom tingkat tabel.
Iceberg	Komponen ini ditambahkan. Versinya adalah 0.12.0-1.0.1.
Knox	Memperbaiki masalah di mana akses pertama ke tugas Spark gagal.
Otentikasi Pembentukan Danau Data (DLF)	Komponen ini ditambahkan. Anda kini dapat menggunakan Pembentukan Danau Data (DLF) untuk mengontrol izin Hive dan Spark. Versi komponen adalah 1.0.0.
Penyesuaian Skala Otomatis	Penyesuaian Skala Otomatis ditingkatkan ke 1.2.0.

EMR-3.37.x

Tanggal rilis

Version	Release date
EMR-3.37.1	September 2021
EMR-3.37.0 (Tidak tersedia untuk pembelian)	Agustus 2021

Pembaruan

EMR-3.37.1

Service	Description
SmartData	SmartData ditingkatkan ke versi 3.7.1.
Hue	Memperbaiki masalah di mana Impala tidak dapat digunakan di kluster keamanan tinggi.
Kudu	Menambahkan dukungan untuk Kerberos.

EMR-3.37.0

Service	Description
SmartData	SmartData ditingkatkan ke versi 3.7.0.
Spark	Memperbaiki masalah kompatibilitas dengan Delta Lake.
Delta Lake	Konektor Delta ditingkatkan untuk mendukung pembuatan dan pengquery-an tabel menggunakan sintaks StorageHandler. Memperbaiki masalah yang terjadi selama operasi INSERT OVERWRITE pada tabel partisi. Memperbaiki masalah di mana perintah OPTIMIZE menulis field virtual ke file dalam skenario G-SCD.
YARN	Menambahkan informasi penggunaan sumber daya appId, CPU, dan memori ke REST API container pada node. Memperbaiki masalah di mana log Application Master (AM) tidak dapat dilihat pada node yang dilepas oleh penskalaan otomatis. Menambahkan dukungan untuk membersihkan node yang didekomisioning setelah penskalaan otomatis. Menyempurnakan logika dekomisioning mulus untuk penskalaan otomatis. Sistem kini hanya menandai node sebagai didekomisioning setelah proses NodeManager-nya berakhir.
ZooKeeper	Ditingkatkan ke versi komunitas 3.6.3.
Flink	Menambahkan komponen SmartData. Memperbaiki masalah yang mencegah akses bebas kata sandi ke OSS saat menggunakan SSH untuk menghubungkan ke kluster Flink Dataflow dan mengirimkan pekerjaan.
Impala	Memperbaiki loop daftar direktori yang terjadi saat langsung menghapus direktori partisi OSS.
Hue	Memperbaiki masalah tampilan UI saat menggunakan Hue dengan Oozie.
Kudu	Ditingkatkan ke versi komunitas 1.14.0.
ClickHouse	Memperbarui konfigurasi default.

EMR-3.36.x

Tanggal rilis

EMR-3.36.1 dirilis pada 16 Juli 2021.

Pembaruan

Service	Change
SmartData	SmartData ditingkatkan ke versi 3.6.1. Untuk detailnya, lihat Pengantar SmartData 3.6.x.
Hive	Hive ditingkatkan ke versi 2.3.8. Memperbaiki masalah di mana perintah `show create table` mengembalikan hasil yang salah saat menggunakan metadata DLF (Pembentukan Danau Data). Mengoptimalkan parameter Hive default untuk meningkatkan performa pekerjaan. Nama parameter dikapitalisasi pada tab hive-env di halaman Configure layanan Hive di konsol EMR untuk meningkatkan kegunaan. Pesan error yang dilaporkan karena ketidakcocokan antara sistem file dan metastore Hive saat menulis data ke tabel Hive dioptimalkan.
HDFS	Menambahkan dukungan untuk format kompresi Zstandard (ZSTD).
Flink	Flink ditingkatkan ke versi 1.12-vvr-3.0.2. Catatan Flink dihapus dari kluster Hadoop.
Hudi	Hudi ditingkatkan ke versi 0.8.0. Menambahkan dukungan untuk integrasi Spark SQL.
Spark	Mengoptimalkan nama parameter pada tab spark-defaults di halaman Configure layanan Spark di konsol EMR. Menyempurnakan performa output log. Menambahkan dukungan untuk format kompresi Zstandard (ZSTD).
Impala	Memperbaiki error core dump yang terjadi saat menggunakan HDFS.
Tez	Mengoptimalkan parameter Tez default untuk meningkatkan performa pekerjaan.
Knox	Menambahkan dukungan untuk Kudu. Menambahkan dukungan untuk Impala. Menambahkan dukungan untuk HBase.
Phoenix	Memperbaiki error "JDBC Driver not found" saat mengakses tabel Phoenix dengan Hive atau Spark SQL.
ClickHouse	Menambahkan APM (Application Performance Management) untuk pemantauan dan peringatan.

EMR-3.35.x

Tanggal rilis

EMR-3.35.0 dirilis pada 21 April 2021.

Pembaruan

Service	Change
SmartData	Ditingkatkan ke versi 3.5.0. Untuk informasi lebih lanjut, lihat Pengantar SmartData 3.5.x.
Spark	Memperbaiki masalah di mana Eksekusi Adaptif tidak berlaku dalam beberapa skenario. Memperbaiki masalah di mana perilaku fungsi agregat statistik tidak konsisten dengan Hive. Memperbaiki masalah pembacaan data tipe CHAR yang salah dari tabel ORC Hive.
HDFS	HDFS kini mendukung algoritma enkripsi SM4.
Hue	Hue ditingkatkan ke versi 4.9.0.
Alluxio	Alluxio ditingkatkan ke versi 2.5.0.
Druid	Druid ditingkatkan ke versi 0.20.1. Keamanan ditingkatkan.
Livy	Livy ditingkatkan ke versi 0.7.1.

E-MapReduce 3.34.x

Tanggal rilis

E-MapReduce 3.34.0 dirilis pada 15 Maret 2021.

Pembaruan

Service	Updates
SmartData	Ditingkatkan ke versi 3.4.0. Untuk detailnya, lihat Catatan Rilis SmartData 3.4.x.
Spark	Mengoptimalkan beberapa konfigurasi default. Performance optimization: supports Window TopK pushdown. Meningkatkan kompatibilitas Hive untuk membaca dan menulis tabel dalam format CSV atau JSON. Pernyataan ANALYZE mendukung pengabaian semua nama kolom tabel. Mendukung pengaktifan atau penonaktifan fitur LDAP dalam satu klik. Peningkatan kemudahan penggunaan alat Spark Beeline.
Hive	Mengoptimalkan konfigurasi default. Meningkatkan performa dengan menyempurnakan optimalisasi berbasis biaya (CBO). Menambahkan opsi sekali klik untuk mengaktifkan atau menonaktifkan fitur LDAP. Meningkatkan Calcite ke versi 1.12.0. Menambahkan parameter hive.security.authorization.sqlstd.confwhitelist.append.
Presto	Menambahkan opsi sekali klik untuk mengaktifkan atau menonaktifkan fitur LDAP.
YARN	Memperbaiki kerentanan berisiko tinggi yang memungkinkan akses tidak sah ke UI web Hadoop. Masalah ini memerlukan penentuan user.name=name di URL saat mengakses UI web YARN melalui tunnel SSH.
ZooKeeper	Ditingkatkan ke versi 3.6.2.
Flink	Memperbarui file config.sh selama inisialisasi untuk memperbaiki masalah HADOOP_CLASSPATH.
Impala	Ditingkatkan ke versi 3.4.0. Meningkatkan Shiro ke versi 1.7.0. Menambahkan dukungan untuk metadata DLF. Mengaktifkan kueri data dalam format Delta. Menambahkan opsi sekali klik untuk mengaktifkan atau menonaktifkan fitur LDAP.
Tez	Mengoptimalkan konfigurasi default.
HAS	Memperbaiki masalah di mana file admin.keytab gagal melakukan inisialisasi ulang setelah terjadi error selama instalasi HAS.
Ranger	Masalah yang disebabkan oleh filter pushdown di Spark telah diperbaiki. Masalah yang mencegah Presto diaktifkan setelah Anda menonaktifkan Presto di Ranger telah diperbaiki. Otentikasi LDAP dapat diaktifkan atau dinonaktifkan dengan satu klik.
Knox	Memperbaiki masalah koneksi Knox untuk Druid 0.20.0.
Hue	Menambahkan opsi sekali klik untuk mengaktifkan atau menonaktifkan fitur LDAP.
Hudi	Mendukung fitur SQL on Hudi. Fixed accuracy issues when querying certain data. Pemangkasan partisi didukung saat menjalankan kueri Spark pada tabel Hudi Copy On Write. Mendukung mekanisme bucketing index untuk meningkatkan performa penulisan.
Delta Lake	Memperbaiki masalah ketidakmampuan menyinkronkan metadata ke Hive Metastore dari tabel Delta yang sudah ada. Memperbaiki masalah pada perintah Merge yang tidak dapat mengurai `*`. Fixed the issue where converting Parquet-formatted data into Delta tables and creating table metadata resulted in an error. Fixed the issue where executing the Optimize command caused an exception when there were no files to compact. Mendukung penggunaan subkueri sebagai sumber dalam sintaksis MERGE. Saat melakukan kueri pada tabel Delta menggunakan Presto, mekanisme caching diterapkan untuk meningkatkan efisiensi kueri. Mendukung kueri tabel Delta menggunakan Impala.
Superset	The issue that prevents the admin user from logging on to the web UI is fixed. Datasets are compatible with Druid clusters. Spark SQL datasets are no longer supported.
Sqoop	Mengaktifkan impor file Parquet ke OSS.
Alluxio	Ditingkatkan ke versi 2.4.1.
Phoenix	Hive on Phoenix kini mendukung pengaturan bidang.
Pig	Dihapus.

EMR-3.33.x

Tanggal rilis

EMR-3.33.0 dirilis pada 15 Januari 2021.

Pembaruan

Service	Description
SmartData	Ditingkatkan ke versi 3.2.0. Untuk informasi lebih lanjut, lihat Pengantar SmartData 3.2.x.
Spark	Ditingkatkan ke versi 2.4.7. Meningkatkan jQuery ke versi 3.5.1. Menambahkan dukungan untuk memperbarui ukuran tabel dan partisi Hive secara otomatis. Menambahkan dukungan untuk mengekspor metadata Spark dan informasi eksekusi pekerjaan ke DataWorks.
Hive	Ditingkatkan ke versi 2.3.7. HCatalog kini mendukung Pembentukan Danau Data. Menambahkan dukungan untuk mengekspor metadata Hive dan informasi eksekusi pekerjaan ke DataWorks.
metastore	Menambahkan fitur statistik Hive. HCatalog kini mendukung Pembentukan Danau Data. Mengoptimalkan metode untuk mendapatkan token STS.
HDFS	Meningkatkan jQuery ke versi 3.5.1.
YARN	Meningkatkan jQuery ke versi 3.5.1. Menyesuaikan konfigurasi Fair Scheduler. Mengoptimalkan Timeline Server.
Zeppelin	Ditingkatkan ke versi 0.9.0.
Ranger	Menambahkan konfigurasi log audit untuk Hive. Menambahkan konfigurasi untuk Log4j Audit.
OpenLDAP	Menambahkan fitur audit. Mengaktifkan port SSL 10636 secara default. Menambahkan pengaktifan sekali klik untuk Presto.
Knox	Memperbaiki kerentanan di framework Spring. Memperbaiki masalah pada halaman Executors di UI Spark. Memperbaiki masalah pada halaman status pekerjaan di UI Oozie.
Hue	Menambahkan dukungan untuk Presto.
Druid	Ditingkatkan ke versi 0.20.0.
EMR Hook	Diperkenalkan sebagai layanan baru. hive-hook: Menambahkan dukungan untuk mengekspor metadata Hive dan informasi eksekusi pekerjaan ke DataWorks. spark-hook: Menambahkan dukungan untuk mengekspor metadata Spark dan informasi eksekusi pekerjaan ke DataWorks.

EMR-3.32.x

Tanggal rilis

EMR-3.32.0 dirilis pada 23 November 2020.

Pembaruan

Service	Change
SmartData	Ditingkatkan ke 3.1.0. Lihat Pengantar SmartData 3.1.x.
Alluxio	Menambahkan dukungan untuk Alluxio 2.4.0. Konfigurasi default diskalakan sesuai dengan ukuran node kluster. Secara default, kluster EMR menggunakan HDFS sebagai UnderFS, yang berfungsi langsung tanpa konfigurasi tambahan. Menyempurnakan UnderFS OSS Alluxio untuk mendukung fitur-fitur baru seperti versioning OSS. Kini kompatibel dengan mesin-mesin seperti Hadoop, Hive, Spark, dan Presto.
Hudi	Menambahkan dukungan untuk Hudi 0.6.0.
Spark	JindoTable kini mendukung pengaktifan atau penonaktifan pengumpulan data.
Hive	Memperbaiki kebocoran connection pool di HiveServer. JindoTable kini mendukung pengaktifan atau penonaktifan pengumpulan data. Mengoptimalkan performa `ADD COLUMN`. Memperbaiki pembacaan data yang salah dari tabel Hudi. Konfigurasi default diskalakan sesuai dengan ukuran node kluster.
HDFS	Meningkatkan batas snapshot.
YARN	Konfigurasi default diskalakan sesuai dengan ukuran node kluster.
Tez	Konfigurasi default diskalakan sesuai dengan ukuran node kluster.
Sqoop	Memperbaiki masalah impor file Avro.

EMR-3.30.x

Tanggal rilis

EMR-3.30.0 dirilis pada 26 Oktober 2020.

Pembaruan

Service	Updates
SmartData	Ditingkatkan ke 3.0.0. Untuk informasi lebih lanjut, lihat Pengantar SmartData 3.0.x.
Spark	Menambahkan dukungan untuk metadata dari Alibaba Cloud Data Lake Formation (DLF). Meningkatkan dependensi HAS ke 2.0.1. Memperbaiki masalah backtick di Streaming SQL. Menghapus paket JAR Delta. Delta kini diterapkan secara terpisah. Path log kini menulis ke HDFS.
Hive	Menambahkan dukungan untuk metadata dari Alibaba Cloud Data Lake Formation (DLF). Memperbaiki masalah di mana file DUMMY ditulis saat membaca direktori kosong dari tabel Delta. Meningkatkan dependensi HAS ke 2.0.1.
Presto	Menambahkan dukungan untuk metadata dari Alibaba Cloud Data Lake Formation (DLF). Menghapus batasan membaca tabel Delta. Memperbaiki konfigurasi JVM yang hilang dalam mode keamanan tinggi. Meningkatkan dependensi HAS ke 2.0.1.
HDFS	Menambahkan dukungan untuk mode hot-swap disk. Meningkatkan dependensi HAS ke 2.0.1.
YARN	Memperbaiki masalah dengan YARN RMZKStateStore. Menambahkan dukungan untuk file SNAPPY dari Log Service (SLS). Memodifikasi konfigurasi direktori untuk mode lokal MapReduce untuk memperbaiki masalah pemeriksaan izin direktori. Menambahkan dukungan untuk mode hot-swap disk. Log kini ditulis ke HDFS. Meningkatkan dependensi HAS ke 2.0.1.
ZooKeeper	Menambahkan dukungan untuk mengikat port layanan ke alamat IP internal. Meningkatkan dependensi HAS ke 2.0.1.
Flink-Vvp	Ditingkatkan ke 1.11-2.2.2. Menambahkan dukungan untuk SQL dan Autopilot. Catatan Flink-Vvp hanya didukung pada kluster Dataflow. Kluster Hadoop saat ini tidak mendukung Flink-Vvp.
Flink	Menambahkan dukungan untuk menulis data ke OSS dalam mode cache. Fitur ini, dikombinasikan dengan checkpoint Flink dan sumber yang dapat diputar ulang, memberikan semantik EXACTLY_ONCE. Disinkronkan dengan Apache Flink 1.11.1. SQL kini mendukung output multi-arah (MULTI INSERT). Meningkatkan dependensi HAS ke 2.0.1.
Impala	Menambahkan dukungan untuk menyesuaikan catalogd.flgs, impalad.flgs, dan statestored.flgs. Meningkatkan Shiro ke 1.6.0. Meningkatkan dependensi HAS ke 2.0.1.
Tez	Mengoptimalkan parameter memori AM default. Meningkatkan dependensi HAS ke 2.0.1.
HAS	Meningkatkan dependensi HAS ke 2.0.1.
Storm
Zeppelin
Ranger
OpenLDAP
Oozie
Knox
Kafka
HUE
HBase
Druid

EMR-3.29.x

Tanggal rilis

EMR-3.29.0 dirilis pada 29 Juli 2020.

Pembaruan

Service	Description
Bigboot	Ditingkatkan ke versi 2.7.301. Jindo DistCp kini mendukung menulis data ke OSS dalam mode arsip atau akses jarang. Fuse ditingkatkan untuk mendukung beberapa namespace. Cache metadata dalam mode cache ditingkatkan.
Spark	Spark ditingkatkan ke versi 2.4.5.2.0. Menambahkan dukungan untuk metastore pihak ketiga. Menambahkan datalake metastore-client.
Hive	Hive ditingkatkan ke versi 2.3.5.6.0. Menambahkan dukungan untuk metastore pihak ketiga. Menambahkan datalake metastore-client.
Presto	Ditingkatkan ke versi 338.
Ranger	Paket perangkat lunak ditingkatkan ke versi 1.2.0-1.5.0. Menambahkan dukungan untuk Presto 338. Menambahkan bidang deskripsi ke file konfigurasi.
HDFS	Ruang yang dicadangkan untuk DataNode kini dikonfigurasi secara adaptif.
Knox	Menambahkan dukungan untuk Impala, versi Flink terbaru, dan Platform untuk AI (PAI).
Druid	Ditingkatkan ke versi 0.18.1.
SmartData	Ditingkatkan ke versi 2.7.301.

EMR-3.28.x

Tanggal rilis

EMR-3.28.0 dirilis pada 12 Juni 2020.

Fitur baru

Service

Changes

Bigboot

Merilis JindoTable, yang mendukung pengumpulan statistik berdasarkan popularitas tabel atau partisi.
Menambahkan dukungan untuk kebijakan penyimpanan lengkap dalam mode penyimpanan blok dan kebijakan penyimpanan bertingkat, termasuk akses jarang dan arsip.
Menambahkan alat migrasi data Jindo DistCp.
Menyempurnakan Jindo Fuse dan memperbaiki masalah terkait.
Menyempurnakan integrasi skema JFS dengan mesin Hive dan Jindo JobCommitter dalam mode cache.
Dalam mode penyimpanan blok, Anda kini dapat mengonfigurasi bobot untuk membaca data langsung dari OSS. Hal ini membantu mendistribusikan dan mengurangi beban membaca dari cache lokal.
Memisahkan JindoFS menjadi modul perangkat lunak terpisah: Bigboot (lapisan manajemen), SmartData (layanan terdistribusi), dan JindoFS SDK. Setiap modul dapat ditingkatkan dan dipelihara secara independen.

Pembaruan

Service	Changes
Flink	Apache Flink open source ditingkatkan ke Ververica Platform. Platform ini merupakan versi Flink 1.10 yang disesuaikan yang menyediakan fitur tambahan, seperti mesin penyimpanan Gemini proprietary.
Bigboot	Ditingkatkan ke versi 2.7.0.
Delta	Ditingkatkan ke versi 0.6.0. Memisahkan kode Delta dari kode Spark.
Spark	Ditingkatkan ke versi 2.4.5. Menambahkan kompatibilitas dengan skrip streaming-sql DataFactory. Menambahkan dukungan untuk Delta 0.6.0.
Hive	Menambahkan dukungan untuk Delta 0.6.0.
Ranger	Menambahkan dukungan untuk penerapan kustom HDFS, Hive, dan Spark. Anda kini dapat mengonfigurasi ranger-admin-site.xml dan ranger-ugsync-site.xml di konsol.
HDFS	Jika tidak ada DataNode yang tersedia saat Anda menulis data ke HDFS, HDFS kini menampilkan pesan pengecualian (HDFS-9023) yang mengidentifikasi DataNode yang tidak tersedia.
Hue	Menambahkan dukungan untuk menginstal komponen Hue pada kluster gateway. Menambahkan dukungan untuk menerapkan beberapa instance Hue pada satu node.
DataFactory	Menambahkan dukungan untuk Delta 0.6.0.
Druid	Ditingkatkan ke versi 0.18.0.
Knox	Ditingkatkan ke versi 1.1.0-1.0.7. Menambahkan dukungan Knox untuk UI HBase.

EMR-3.27.x

Tanggal rilis

Version	Release date
EMR-3.27.0	29 April 2020
EMR-3.27.1 (Tidak tersedia untuk pembelian)	8 Mei 2020
EMR-3.27.2 (Tidak tersedia untuk pembelian)	20 Mei 2020

Fitur baru

Feature

Description

Penyebaran layanan kustom

Anda kini dapat menyesuaikan penyebaran layanan pada node master. Layanan berikut didukung:

Hadoop
Spark
Hive
ZooKeeper
Presto

Shutdown mulus untuk penskalaan otomatis

Setelah Anda mengaktifkan shutdown mulus, EMR melepas node hanya setelah menyelesaikan tugas yang sedang berjalan dalam waktu tertentu.

Pembaruan

Service	Description
Spark	Menambahkan dukungan untuk bidang partisi tipe tanggal dalam CUBE. Meningkatkan kedalaman stack untuk spark-submit.
Delta	DDL ditingkatkan, termasuk CREATE, SHOW, dan DESCRIBE. Menambahkan dukungan untuk pernyataan OPTIMIZE dengan Z-order.
Knox	Knox kini kompatibel dengan UI Druid. Menambahkan dukungan untuk penyebaran multi-master.
Hive	Menambahkan dukungan untuk magic committer untuk tabel HCatalog. Menghapus konfigurasi default yang sudah usang.
Bigboot	Ditingkatkan ke versi 2.6.3. Menambahkan dukungan untuk penyebaran multi-master.
SmartData	Ditingkatkan ke versi 2.6.3. Menambahkan dukungan untuk penyebaran multi-master.
Ranger	Menambahkan dukungan untuk layanan Solr. Menambahkan dukungan untuk PrestoSQL versi 311.
Tez	Menambahkan dukungan untuk mengatur direktori scratch (scratchdir) di OSS.
Presto	Ditingkatkan ke versi 331.
Druid	Ditingkatkan ke versi 0.17.1.
Superset	Ditingkatkan ke versi 0.35.2.
Sqoop	Paket JAR JDBC MySQL ditingkatkan ke versi 5.1.48. Mode ekspor langsung MySQL kini mendukung encoding kustom dengan parameter `--mysql-charset`.

EMR-3.26.x

Tanggal rilis

Version	Release date
EMR-3.26.3 (tidak tersedia untuk pembelian)	16 April 2020

Pembaruan

Service	Changes
Bigboot	Ditingkatkan ke 2.6.3. Menambahkan dukungan untuk metadata Tablestore dan ketersediaan tinggi namespace.
SmartData
Hive	Mengaktifkan dukungan untuk committer langsung untuk tabel HCatalog.
YARN	Mengonfigurasi JindoOssCommitter sebagai committer default.
HDFS	Memperbarui konfigurasi terkait JindoFS.
Spark	Mengonfigurasi JindoOssCommitter sebagai committer default.

EMR-3.25.x

Tanggal rilis

EMR-3.25.0 dirilis pada 13 Januari 2020.

Fitur baru

Layanan Ranger: Menambahkan dukungan untuk operasi Presto.

Pembaruan

Service	Changes
Ranger	Menginisialisasi database RangerAdmin di kluster ketersediaan tinggi. Memperbaiki masalah keamanan di skrip startup RangerUserSync.
Spark	Menambahkan dukungan untuk mengonfigurasi parameter terkait Delta, seperti `spark.sql.extensions`, di konsol. Menambahkan dukungan untuk membaca tabel Delta dengan menggunakan Hive tanpa mengatur format input. Menambahkan dukungan untuk pernyataan ALTER TABLE SET TBLPROPERTIES dan UNSET TBLPROPERTIES.
Delta
Hive	Memperbaiki masalah di mana tugas MapReduce gagal dalam mode lokal otomatis.
Presto	Ditingkatkan ke versi 310. Meningkatkan joda-time ke versi 2.10.5.
Tez	Ditingkatkan ke versi 0.9.2. Memperbaiki masalah di mana kemajuan aplikasi ditampilkan secara salah di UI Tez. Memperbaiki masalah yang mencegah melihat riwayat aplikasi di UI Tez.
Impala	Memperbaiki masalah di mana Impala tidak dapat mengakses tabel LZO.
HDFS	Menghapus paket JAR terkait mongo-hadoop.
ZooKeeper	Ditingkatkan ke versi 3.5.6.
YARN	Anda kini dapat menambahkan item konfigurasi yarn.resourcemanager.system-metrics-publisher.enabled=true pada tab yarn-site.xml untuk mendukung UI Tez.
Bigboot	Ditingkatkan ke versi 2.2.3. Menambahkan dukungan untuk operasi rename dalam mode cache OSS.
SmartData
Knox	Paket dependensi telah ditingkatkan.
Oozie	Meningkatkan paket dependensi.

EMR-3.24.x

Tanggal rilis

EMR-3.24.0 dirilis pada 18 November 2019.

Fitur baru

Service	Changes
Delta	Menambahkan dukungan untuk pernyataan SQL, termasuk `ALTER`, `CONVERT`, `CREATE`, `CTAS`, `DELETE`, `DESC`, `INSERT`, `MERGE`, `OPTIMIZE`, `UPDATE`, dan `VACUUM`. Perintah `OPTIMIZE` dibangun dan dioptimalkan. Menambahkan dukungan untuk konektor Hive. Menambahkan dukungan untuk fitur open source lainnya.
Grafana	Menambahkan komponen Grafana, versi 6.4.2, untuk kluster Flink independen.
Prometheus	Menambahkan komponen Prometheus, versi 2.13.0, untuk kluster Flink independen.
Alertmanager	Menambahkan komponen Alertmanager, versi 0.19.0, untuk kluster Flink independen.
TensorFlow on Spark	Menambahkan dukungan untuk menerapkan framework TensorFlow pada Spark. Integrasi mendalam ini memungkinkan proses end-to-end dari pra-pemrosesan data hingga pelatihan pembelajaran mendalam, dengan penjadwalan tugas dan pertukaran data yang dioptimalkan. Menambahkan dukungan untuk tugas streaming.

Pembaruan

Service	Changes
SmartData	Mengoptimalkan mode penggunaan JindoFS. Mode blok tidak berubah. Mode cache ditingkatkan untuk kompatibilitas dengan penggunaan sistem file OSS yang ada. Mode ini kini mendukung caching data dan caching metadata, keduanya dinonaktifkan secara default dan dapat dikonfigurasi secara terpisah. Mengoptimalkan performa baca/tulis dalam mode blok dan mode cache. Mengoptimalkan pembersihan disk. Sistem kini mengukur data panas yang di-cache pada disk lokal lebih akurat dan membersihkannya lebih cepat untuk memastikan penggunaan disk tidak melebihi kuota yang dikonfigurasi. Menyempurnakan dukungan untuk kluster gateway, memungkinkan penggunaan mode blok dan mode cache. Menambahkan dukungan untuk mode penyebaran yang memisahkan satu kluster penyimpanan dari beberapa kluster komputasi.
Spark	Menambahkan dukungan untuk parameter terkait Delta. Menambahkan dukungan untuk mengonfigurasi plugin Ranger Spark. Meningkatkan JindoCube ke versi 0.3.0.
Hive	Menambahkan fitur pemeriksaan kompatibilitas SQL. Merilis kombinasi Hive 2.3.5 dan Hadoop 2.8.5. Isi file hiveserver2-site.xml tidak lagi disinkronkan ke file hive-site.xml di direktori spark-conf saat komponen dimulai ulang. Menambahkan dukungan untuk menggunakan perintah MSCK guna menambahkan direktori inkremental. Memperbaiki bug yang terjadi saat Hive menggunakan kembali container Tez. Menambahkan dukungan untuk menggunakan perintah MSCK guna mengoptimalkan direktori kolom.
Bigboot	Ditingkatkan ke versi 2.2.1, yang memperbaiki masalah di mana kode native tidak dapat dieksekusi pada model server tertentu.
Ranger	Menyusun ulang mode penyebaran plugin Spark. Memperbaiki bug di mana node emr-header-2 di kluster ketersediaan tinggi tidak dapat memperoleh keytab.
Kudu	Memperbaiki logika startup.
ZooKeeper	Menambahkan konfigurasi untuk perintah empat huruf, yang diaktifkan secara default.
HDFS	Menyesuaikan HDFS untuk JindoFS.
YARN	Mengubah nilai default yarn.scheduler.capacity.node-locality-delay menjadi -1. Menyesuaikan YARN untuk JindoFS.
Has	Diintegrasikan dengan OpenLDAP sebagai backend.
OpenLDAP	OpenLDAP yang diadaptasi untuk Has.
Presto	Ditingkatkan ke versi 0.228.
Kafka	Memperkenalkan fitur yang secara otomatis mengisolasi disk rusak di keluarga instans d1.
Druid	Ditingkatkan ke versi 0.16.0.
Flume	Ditingkatkan ke versi 1.9.0.
Flink	Ditingkatkan ke versi 1.9.1. Menambahkan dukungan untuk kluster Flink independen (tersedia melalui daftar putih).

EMR-3.23.x

Tanggal rilis

EMR-3.23.0 dirilis pada 18 September 2019.

Pembaruan

Service	Description
Druid	Ditingkatkan ke 0.15.1. Menambahkan komponen router. fastjson telah ditingkatkan.
Spark	Memperbaiki masalah class loader di spark thrift server. Menyempurnakan stabilitas kode terkait transaksi di Spark. Memperbaiki masalah baca/tulis dengan format ORC setelah meningkatkan Hive bawaan ke versi 2.3. Menambahkan dukungan untuk sintaks `MERGE INTO`. Menambahkan dukungan untuk sintaks `SCAN` dan `STREAM`. Sink Structured Streaming Kafka kini mendukung Semantik Exactly-Once (EOS). Meningkatkan Delta ke 0.4.0.
Hive	Menghapus hook Hive lama. Mengoptimalkan query yang mengandung beberapa bidang `COUNT(DISTINCT)` untuk mengatasi kesenjangan data. Memperbaiki masalah kehilangan data saat menggabungkan tabel dengan versi bucket yang berbeda.
Flink	Ditingkatkan ke 1.8.2.
Bigboot	Memperbarui alat file kecil. Memperbaiki masalah di JAR OSS yang menyebabkan thread non-daemon tetap aktif.
Kafka	Menambahkan kesadaran Deployment Set. Menghapus dependensi fastjson.
HDFS	Mengoptimalkan logika penyebaran JAR SmartData OSS. Memperbarui JAR SmartData OSS.
Flume	Fastjson telah diperbarui.
Tensorflow on Spark	Menambahkan Tensorflow on Spark.
Has	Meningkatkan fastjson.
Livy	Fastjson telah ditingkatkan.

EMR-3.22.x

Tanggal rilis

EMR-3.22.0 dirilis pada 28 Juli 2019.

Fitur baru

Component	Changes
Kudu	Menambahkan komponen Kudu. Kudu mengisi celah dalam ekosistem Hadoop. Kudu menawarkan penyisipan data cepat, modifikasi, dan akses acak seperti HBase, serta mendukung analisis dan query data skala besar seperti HDFS atau Parquet. Menyediakan API C++ dan Java untuk pengembangan kustom. Menyediakan integrasi dengan Impala, Spark, dan Hive Metastore. Versi ini berbasis pada Apache Kudu 1.10.0 open source.
OpenLDAP	Menambahkan komponen OpenLDAP untuk menggantikan ApacheDS. ApacheDS kini telah dipensiunkan. Mendukung ketersediaan tinggi.

Pembaruan

Component	Description
JindoFileSystem	Beberapa mode penyimpanan Mode blok: Dalam mode ini, data disimpan sebagai blok di OSS backend, dan layanan Namespace lokal memelihara metadata. Mode ini menawarkan performa unggul untuk operasi metadata dan data. Mode blok mendukung berbagai kebijakan penyimpanan, termasuk WARM (replika lokal dan OSS), COLD (hanya replika OSS), HOT (beberapa replika lokal dan satu replika OSS), TEMP (hanya replika lokal), dan ALL_HDD (beberapa replika lokal). Kebijakan default adalah WARM. Anda dapat mengatur kebijakan penyimpanan berbeda untuk direktori berdasarkan skenario aplikasi Anda. Mode cache: Mode ini terutama kompatibel dengan metode penyimpanan OSS yang ada. Dalam mode cache, file disimpan sebagai objek di OSS. Berdasarkan pola akses, data dan metadata di-cache secara lokal untuk meningkatkan performa akses. Mode ini menyediakan berbagai kebijakan sinkronisasi metadata untuk skenario berbeda. Dukungan klien eksternal SDK klien memungkinkan Anda mengakses sistem file JindoFS dari luar kluster E-MapReduce. Anda dapat menggunakan klien untuk mengakses namespace dalam mode blok. Namun, klien eksternal tidak dapat menggunakan cache data dalam kluster E-MapReduce, yang menghasilkan performa lebih rendah daripada akses dari dalam kluster. Mode cache mempertahankan semantik penyimpanan OSS asli dan mempercepat caching data dalam kluster E-MapReduce dengan menggunakan JindoFS. Oleh karena itu, Anda dapat langsung mengakses data dari luar kluster E-MapReduce dengan menggunakan klien OSS, seperti SDK OSS atau OssFileSystem E-MapReduce. Dukungan komponen ekosistem JindoFS kini mendukung berbagai mesin komputasi di E-MapReduce, seperti Spark, Flink, Hive, MapReduce, Impala, dan Presto. Dalam skenario pemisahan penyimpanan-komputasi, JindoFS dapat menyimpan log pekerjaan, seperti log container YARN dan log event Spark. JindoFS dapat digunakan sebagai penyimpanan backend untuk HFile HBase untuk memperluas kapasitas penyimpanan HBase.
OssFileSystem	Menambahkan mekanisme otomatis untuk mendeteksi disk rusak dan mencegah kegagalan penulisan cache ke OSS. Menambahkan konfigurasi yang diperlukan untuk OssFileSystem.
Bigboot	Ditingkatkan ke versi 2.0.0. Termasuk pembaruan besar seperti dukungan untuk beberapa namespace, menyimpan blok data lokal sebagai file besar, penyimpanan multi-mode, dan klien eksternal. Memperbaiki masalah di mana monitor Bigboot menampilkan status salah selama restart server. Menambahkan spesifikasi layanan untuk komponen Kudu. Menambahkan validasi kebenaran untuk spesifikasi layanan.
Hadoop	HDFS Diadaptasi untuk Federasi HDFS. Anda kini dapat membuat kluster Federasi HDFS dengan menggunakan konfigurasi kustom dan operasi API. Hal ini menghindari pemformatan ulang NameNode saat membuat kluster Federasi. Mengoptimalkan logika deteksi disk rusak. Untuk skenario disk lokal, Anda dapat menjalankan perintah dfsadmin untuk memicu laporan blok DataNode. YARN Memperbaiki masalah di mana daftar pekerjaan JobHistory MapReduce tidak diperbarui saat log container MR disimpan di JindoFS atau OSS.
Spark	Relational Cache Menambahkan dukungan untuk Relational Cache untuk mempercepat query pengguna melalui pra-komputasi. Anda dapat membuat cache relasional untuk pra-menghitung data. Saat query dieksekusi, Spark Optimizer secara otomatis menemukan cache yang sesuai, menulis ulang rencana eksekusi SQL, dan melanjutkan komputasi berdasarkan data yang di-cache untuk meningkatkan kecepatan query. Fitur ini cocok untuk skenario seperti pelaporan, dasbor, sinkronisasi data, dan analisis multidimensi. Mendukung operasi CACHE, UNCACHE, ALTER, dan SHOW dengan menggunakan pernyataan DDL. Data yang di-cache mendukung semua sumber data dan format data di Spark. Mendukung pembaruan data cache otomatis dan manual dengan menggunakan perintah REFRESH. Pembaruan inkremental berbasis partisi juga didukung. Mendukung optimasi rencana eksekusi berdasarkan Relational Cache. Streaming SQL Menstandarisasi konfigurasi parameter Stream Query Writer. Mengoptimalkan pemeriksaan kompatibilitas skema untuk tabel data Kafka. Skema secara otomatis dibuat di Schema Registry jika skema tidak ada untuk tabel data Kafka. Memperbaiki pesan log untuk ketidakcocokan skema Kafka. Memperbaiki masalah di mana nama kolom harus ditentukan secara eksplisit saat hasil query ditulis ke tabel Kafka. Menghapus batasan bahwa query SQL streaming hanya mendukung Kafka dan Loghub sebagai sumber input data. Delta Menambahkan dukungan untuk Delta. Anda dapat menggunakan Spark untuk membuat sumber data Delta untuk mendukung skenario seperti penulisan data streaming, pembacaan dan penulisan transaksional, validasi data, dan perjalanan waktu. Untuk informasi lebih lanjut, lihat dokumentasi Delta. Mendukung membaca dan menulis data dari dan ke Delta dengan menggunakan API DataFrame. Mendukung menggunakan Delta sebagai sumber atau sink untuk membaca atau menulis data dengan menggunakan API Structured Streaming. Mendukung operasi update, delete, merge, vacuum, dan optimize dengan menggunakan API Delta. Mendukung membuat tabel berbasis Delta, mengimpor data ke Delta, dan membaca tabel Delta dengan menggunakan SQL. Pembaruan lainnya Menambahkan dukungan untuk constraint, termasuk primary key dan foreign key. Menyelesaikan konflik paket servlet dan JAR lainnya.
Flink	Mengembalikan konfigurasi logging log4j.
Kafka	Mengembalikan konfigurasi logging log4j. Fastjson telah ditingkatkan.
Zeppelin	Meningkatkan paket dependensi commons-lang3 ke versi 3.7 untuk memperbaiki masalah di mana PySpark tidak dapat menulis ke OSS. Untuk informasi lebih lanjut, lihat Ketidakcocokan Spark 2.4 dengan commons-lang3 di Zeppelin.
Ranger	Menambahkan dukungan untuk pernyataan SHOW GRANTS.
Analytics-Zoo	Memperbaiki error instalasi NumPy.
Impala	Impala kini kompatibel dengan Apache Kudu 1.10.0.
Presto	Ditingkatkan ke versi 0.221.
ZooKeeper	Ditingkatkan ke versi 3.5.5.

Versi sebelum EMR-3.22.x

EMR-3.1.1

Meningkatkan sistem operasi ke CentOS 7.2.
Meningkatkan Spark ke versi 2.1.1.
Meningkatkan EMR-Core ke versi 1.2.6.
Menyelesaikan masalah dengan operasi bebas AccessKey pada OSS.

EMR-3.0.2

Meningkatkan EMR-Core ke versi 1.2.5.
Memperluas akses bebas AccessKey ke OSS untuk mencakup lebih banyak wilayah.
Menyesuaikan kebijakan penggantian AccessKey untuk peran RAM.
Memperbaiki beberapa masalah Hive dan Hadoop.

EMR-3.0.1

Memperkenalkan mode interaktif dan manajemen tabel terpadu. Metadata Hive kini disimpan di database eksternal terpadu, memungkinkan beberapa kluster berbagi metadata yang sama.
Meningkatkan EMR-Core ke versi 1.2.4 untuk meningkatkan performa baca/tulis OSS.
Meningkatkan Spark ke versi 2.0.2.

Catatan

EMR-3.0.1 sepenuhnya kompatibel dengan EMR-3.0.0.

EMR-3.0.0

Rilis awal EMR.