Catatan rilis seri EMR 3.x - E-MapReduce

Topik ini menjelaskan tanggal rilis dan detail pembaruan untuk seri EMR 3.x. Untuk informasi lebih lanjut mengenai komponen yang didukung di setiap versi, lihat Versi Rilis.

EMR 3.55.x

Tanggal rilis

Versi	Tanggal
EMR-3.55.0	27 Oktober 2025

Detail pembaruan

Layanan	Perubahan
Ranger	Jindoauth Server mendukung RAM Role kustom untuk pengguna klien agar dapat mengakses OSS. Memperbaiki dependensi yang hilang di ranger-yarn-plugin.
Paimon	Ditingkatkan ke versi 1-ali-16.3.
JindoCache	Ditingkatkan ke versi 6.10.1.

Informasi versi rilis

Kluster DataLake

Layanan	Versi
Hadoop-Common	2.8.5
HDFS	2.8.5
OSS-HDFS	1.0.0
Hive	2.3.9
Spark2	2.4.8
Spark3	3.4.2
YARN	2.8.5
Trino	422
DeltaLake	3.0.0
Hudi	0.15.0
Iceberg	1.5.0
Flume	1.11.0
Kyuubi	1.9.2
Tez	0.10.2
OpenLDAP	2.4.46
Ranger	2.3.0
Ranger-plugin	1.0.0
Sqoop	1.4.7
DLF-Auth	2.0.2
Presto	0.283
Zookeeper	3.8.4
Knox	1.5.0
Celeborn	0.5.2
JindoCache	6.10.1
Paimon	1-ali-16.3

Kluster OLAP

Layanan	Versi
StarRocks2	2.5.22
StarRocks3	3.2.11
Doris	2.1.4
ClickHouse	23.8.2.7
Zookeeper	3.8.4

Kluster DataFlow

Layanan	Versi
Hadoop-Common	2.8.5
HDFS	2.8.5
OSS-HDFS	1.0.0
YARN	2.8.5
OpenLDAP	2.4.46
Ranger	2.3.0
Ranger-plugin	1.0.0
Zookeeper	3.8.4
Knox	1.5.0
Flink	1.17.2
Paimon	1-ali-6.2

Kluster DataServing

Layanan	Versi
Hadoop-Common	2.8.5
HDFS	2.8.5
OSS-HDFS	1.0.0
OpenLDAP	2.4.46
Ranger	2.3.0
Ranger-plugin	1.0.0
Zookeeper	3.8.4
Knox	1.5.0
HBase	1.7.1
JindoCache	6.8.2
Phoenix	4.16.1

Kluster Kustom

Layanan	Versi
Hadoop-Common	2.8.5
HDFS	2.8.5
OSS-HDFS	1.0.0
Hive	2.3.9
Spark2	2.4.8
Spark3	3.4.2
YARN	2.8.5
Trino	422
DeltaLake	3.0.0
Hudi	0.15.0
Iceberg	1.5.0
Flume	1.11.0
Kyuubi	1.9.2
Tez	0.10.2
OpenLDAP	2.4.46
Ranger	2.3.0
Ranger-plugin	1.0.0
Sqoop	1.4.7
DLF-Auth	2.0.2
Presto	0.283
StarRocks2	2.5.22
StarRocks3	3.2.11
Zookeeper	3.8.4
Knox	1.5.0
Celeborn	0.5.2
Flink	1.17.2
HBase	1.7.1
JindoCache	6.10.1
Paimon	1-ali-16.3
Phoenix	4.16.1

EMR 3.54.x

Tanggal rilis

Versi	Tanggal
EMR-3.54.0	10 Juli 2025

Detail pembaruan

Layanan	Perubahan
Hive	Memperbaiki beberapa bug yang diketahui.
Tez	Memperbaiki bug komunitas untuk meningkatkan kinerja dan stabilitas.

Informasi versi rilis

Kluster DataLake

Layanan	Versi
Hadoop-Common	2.8.5
HDFS	2.8.5
OSS-HDFS	1.0.0
Hive	2.3.9
Spark2	2.4.8
Spark3	3.4.2
YARN	2.8.5
Trino	422
DeltaLake	3.0.0
Hudi	0.15.0
Iceberg	1.5.0
Flume	1.11.0
Kyuubi	1.9.2
Tez	0.10.2
OpenLDAP	2.4.46
Ranger	2.3.0
Ranger-plugin	1.0.0
Sqoop	1.4.7
DLF-Auth	2.0.2
Presto	0.283
Zookeeper	3.8.4
Knox	1.5.0
Celeborn	0.5.2
JindoCache	6.8.2
Paimon	1-ali-6.2

Kluster OLAP

Layanan	Versi
StarRocks2	2.5.22
StarRocks3	3.2.11
Doris	2.1.4
ClickHouse	23.8.2.7
Zookeeper	3.8.4

Kluster DataFlow

Layanan	Versi
Hadoop-Common	2.8.5
HDFS	2.8.5
OSS-HDFS	1.0.0
YARN	2.8.5
OpenLDAP	2.4.46
Ranger	2.3.0
Ranger-plugin	1.0.0
Zookeeper	3.8.4
Knox	1.5.0
Flink	1.17.2
Paimon	1-ali-6.2

Kluster DataServing

Layanan	Versi
Hadoop-Common	2.8.5
HDFS	2.8.5
OSS-HDFS	1.0.0
OpenLDAP	2.4.46
Ranger	2.3.0
Ranger-plugin	1.0.0
Zookeeper	3.8.4
Knox	1.5.0
HBase	1.7.1
JindoCache	6.8.2
Phoenix	4.16.1

Kluster Kustom

Layanan	Versi
Hadoop-Common	2.8.5
HDFS	2.8.5
OSS-HDFS	1.0.0
Hive	2.3.9
Spark2	2.4.8
Spark3	3.4.2
YARN	2.8.5
Trino	422
DeltaLake	3.0.0
Hudi	0.15.0
Iceberg	1.5.0
Flume	1.11.0
Kyuubi	1.9.2
Tez	0.10.2
OpenLDAP	2.4.46
Ranger	2.3.0
Ranger-plugin	1.0.0
Sqoop	1.4.7
DLF-Auth	2.0.2
Presto	0.283
StarRocks2	2.5.22
StarRocks3	3.2.11
Zookeeper	3.8.4
Knox	1.5.0
Celeborn	0.5.2
Flink	1.17.2
HBase	1.7.1
JindoCache	6.8.2
Paimon	1-ali-6.2
Phoenix	4.16.1

EMR 3.53.x

Tanggal rilis

Versi	Tanggal
EMR-3.53.0	24 April 2025

Detail pembaruan

Layanan	Perubahan
Trino	Memperbaiki masalah di mana LDAP tidak tersedia.
YARN	Memperbaiki bug open source (YARN-10213, YARN-6207, dan YARN-9339).
StarRocks	Mendukung pembuatan kluster dengan sumber daya penyimpanan dan komputasi yang terpisah.
JindoCache	Ditingkatkan ke versi 6.8.2.
EMRHOOK	Menambah stabilitas.

Informasi versi rilis

Kluster DataLake

Layanan	Versi
Hadoop-Common	2.8.5
HDFS	2.8.5
OSS-HDFS	1.0.0
Hive	2.3.9
Spark2	2.4.8
Spark3	3.4.2
YARN	2.8.5
Trino	422
DeltaLake	3.0.0
Hudi	0.15.0
Iceberg	1.5.0
Flume	1.11.0
Kyuubi	1.9.2
Tez	0.10.2
OpenLDAP	2.4.46
Ranger	2.3.0
Ranger-plugin	1.0.0
Sqoop	1.4.7
DLF-Auth	2.0.2
Presto	0.283
Zookeeper	3.8.4
Knox	1.5.0
Celeborn	0.5.2
JindoCache	6.8.2
Paimon	1-ali-6.2

Kluster OLAP

Layanan	Versi
StarRocks2	2.5.22
StarRocks3	3.2.11
Doris	2.1.4
ClickHouse	23.8.2.7
Zookeeper	3.8.4

Kluster DataFlow

Layanan	Versi
Hadoop-Common	2.8.5
HDFS	2.8.5
OSS-HDFS	1.0.0
YARN	2.8.5
OpenLDAP	2.4.46
Ranger	2.3.0
Ranger-plugin	1.0.0
Zookeeper	3.8.4
Knox	1.5.0
Flink	1.17.2
Paimon	1-ali-6.2

Kluster DataServing

Layanan	Versi
Hadoop-Common	2.8.5
HDFS	2.8.5
OSS-HDFS	1.0.0
OpenLDAP	2.4.46
Ranger	2.3.0
Ranger-plugin	1.0.0
Zookeeper	3.8.4
Knox	1.5.0
HBase	1.7.1
JindoCache	6.8.2
Phoenix	4.16.1

Kluster Kustom

Layanan	Versi
Hadoop-Common	2.8.5
HDFS	2.8.5
OSS-HDFS	1.0.0
Hive	2.3.9
Spark2	2.4.8
Spark3	3.4.2
YARN	2.8.5
Trino	422
DeltaLake	3.0.0
Hudi	0.15.0
Iceberg	1.5.0
Flume	1.11.0
Kyuubi	1.9.2
Tez	0.10.2
OpenLDAP	2.4.46
Ranger	2.3.0
Ranger-plugin	1.0.0
Sqoop	1.4.7
DLF-Auth	2.0.2
Presto	0.283
StarRocks2	2.5.22
StarRocks3	3.2.11
Zookeeper	3.8.4
Knox	1.5.0
Celeborn	0.5.2
Flink	1.17.2
HBase	1.7.1
JindoCache	6.8.2
Paimon	1-ali-6.2
Phoenix	4.16.1

EMR 3.52.x

Tanggal rilis

Versi	Tanggal
EMR-3.52.1	18 Desember 2024
EMR-3.52.0 (Pembelian baru tidak didukung)	4 Desember 2024

Detail pembaruan

Layanan	Perubahan
Spark	Memperbaiki masalah konfigurasi yang terjadi selama skala keluar. Memperbaiki masalah di mana koneksi SASL kadang-kadang gagal di kluster Kerberos.
Hive	Memperbaiki masalah konfigurasi yang terjadi selama skala keluar.
Trino	Menyelesaikan masalah di mana koneksi gagal setelah LDAP diaktifkan.
Presto
Zookeeper	Mendukung penambahan konfigurasi kustom.
Ranger	Mengganti plugin Ranger Spark 3 yang ada dengan versi yang disediakan oleh proyek open source Kyuubi.
Hudi	Ditingkatkan ke versi 0.15.0.
Celeborn	Ditingkatkan ke versi 0.5.2.
JindoCache	Ditingkatkan ke versi 6.5.3.
StarRocks3	Ditingkatkan ke versi 3.2.11.
Kyuubi	Ditingkatkan ke versi 1.9.2.
StarRocks2	Ditingkatkan ke versi 2.5.22.
Impala	Layanan ini tidak tersedia. Anda dapat menggunakan layanan yang direkomendasikan sebagai alternatif atau menginstal layanan yang sesuai secara manual. Anda dapat mengganti Impala dengan Presto, Trino, ClickHouse, atau StarRocks.
Kudu
Kafka
Kafka-Manager

EMR 3.51.x

Tanggal rilis

Versi	Tanggal
EMR-3.51.4	18 Desember 2024
EMR-3.51.3 (Pembelian baru tidak didukung)	29 November 2024
EMR-3.51.2 (Pembelian baru tidak didukung)	29 Agustus 2024
EMR-3.51.1 (Pembelian baru tidak didukung)	21 Juni 2024
EMR-3.51.0 (Pembelian baru tidak didukung)	23 April 2024

Detail pembaruan

EMR-3.51.4

Layanan	Perubahan
JindoCache	Ditingkatkan ke versi 6.5.3.
StarRocks2	Ditingkatkan ke versi 2.5.22.
StarRocks3	Ditingkatkan ke versi 3.2.11.

EMR-3.51.3

Layanan	Deskripsi
JindoSDK	JindoSDK diperbarui untuk menyelesaikan masalah yang menyebabkan deadlock.

EMR-3.51.2

Layanan	Deskripsi
JindoCache	JindoCache diperbarui ke 6.5.1. Kinerja membaca dan menulis data ke tabel hash terdistribusi ditingkatkan.
Spark	Masalah direktori partisi yang tidak dapat dihapus telah diperbaiki. Masalah terkait dependensi paket Hive telah diperbaiki. Hal ini memastikan koneksi antara Spark dan klien Metastore tetap tidak terputus.
Trino	Masalah beberapa konfigurasi yang dimodifikasi dapat secara tidak terduga dikembalikan ke konfigurasi asli selama skala keluar telah diperbaiki. Data dalam layanan OSS-HDFS yang diterapkan di kluster keamanan tinggi dapat diquery. Masalah pengecualian yang terjadi pada Trino setelah DLF-Auth diaktifkan telah diperbaiki.
Presto	Data dalam layanan OSS-HDFS yang diinstal di kluster keamanan tinggi dapat diquery.
HDFS	Masalah ukuran memori NameNode dan DataNode yang tidak dapat dimodifikasi telah diperbaiki.
HBase-HDFS
YARN	ResourceManager dapat mengirim beberapa event timeline sekaligus, yang meningkatkan kemampuan pemrosesan. Masalah logika dalam pemrosesan container dan sumber daya ResourceManager telah diperbaiki.
ZooKeeper	Masalah konfigurasi memori grup node yang tidak dapat dimodifikasi telah diperbaiki. Berkas konfigurasi log dapat direkonstruksi.
Impala	Masalah konfigurasi klien yang secara tidak terduga dimodifikasi selama aktivitas penskalaan otomatis telah diperbaiki.
Ranger	Versi terbaru JindoSDK didukung, yang secara efektif mengurangi beban CPU.
Knox	Masalah berikut telah diperbaiki: URL Knox gagal diakses ketika kluster hanya memiliki satu grup node Master Extend.
Kafka	Masalah berikut telah diperbaiki: Kluster EMR yang menerapkan Kafka Connect gagal dimulai.
StarRocks	Masalah node BE yang ditambahkan tidak ditampilkan setelah skala keluar telah diperbaiki.
Doris	Doris diperbarui ke 2.1.4.
Paimon	Paimon diperbarui ke 0.9-ali-7.
EMR-HOOK	Informasi lineage tabel MaxCompute dapat diurai.

EMR-3.51.1

Layanan	Perubahan
Spark	Mendukung penerapan grup node Master-Extend.
Hive
Kyuubi
Paimon	Mengganti dependensi Flink dari versi VVR ke versi komunitas dan menambahkan dukungan untuk DLF Catalog.
Knox	Dikemas menggunakan JDK 8.
Flink	Mengembalikan konfigurasi dan dependensi DLF yang dihapus di EMR-3.51.0.

EMR-3.51.0

Layanan	Perubahan
Spark	Spark3 ditingkatkan ke versi 3.4.2.
Celeborn	Ditingkatkan ke versi 0.4.0.
Doris	Ditingkatkan ke versi 2.1.0.
StarRocks	StarRocks2 ditingkatkan ke versi 2.5.18. StarRocks3 ditingkatkan ke versi 3.2.4.
DeltaLake	Ditingkatkan ke versi 3.0.0.
Iceberg	Ditingkatkan ke versi 1.5.0.
Zookeeper	Ditingkatkan ke versi 3.8.4.
JindoCache	Ditingkatkan ke versi 6.2.5.
Flink	Ditingkatkan ke versi 1.17.2.

EMR 3.50.x

Tanggal rilis

Versi	Tanggal
EMR-3.50.0	19 Februari 2024

Detail pembaruan

Layanan	Perubahan
Hudi	Ditingkatkan ke versi 0.14.0.
Flume	Ditingkatkan ke versi 1.11.0.
Kyuubi	Ditingkatkan ke versi 1.7.3.
Impala	Ditingkatkan ke versi 4.3.0.
Celeborn	Ditingkatkan ke versi 0.3.2.
JindoCache	Ditingkatkan ke versi 6.2.0.
Paimon	Ditingkatkan ke versi 0.7-ali-1.
Kafka	Ditingkatkan ke versi 3.6.1. Memperbaiki kerentanan otentikasi keamanan SASL pada komponen Kafka Connect.
Spark	Memperbaiki kerentanan Commons Text.
StarRocks	StarRocks2 ditingkatkan ke versi 2.5.13. StarRocks3 ditingkatkan ke versi 3.1.5.
Ranger	Memperbaiki kerentanan Commons Text. Memperbaiki kerentanan bypass izin pencocokan path Spring Security. Memperbaiki kerentanan bypass otentikasi forward/include Spring Security. Memperbaiki kerentanan bypass otentikasi Spring Framework di bawah pola pencocokan khusus. Mendukung modifikasi periode sinkronisasi pengguna LDAP oleh Ranger.

EMR 3.49.x

Tanggal rilis

Versi	Tanggal
EMR-3.49.1	16 November 2023
EMR-3.49.0 (Pembelian baru tidak didukung)	27 Oktober 2023

Detail pembaruan

Layanan	Perubahan
JindoCache	Komponen ditambahkan. Versinya adalah 6.1.1.
JindoData	JindoData tidak tersedia. Anda dapat menggunakan JindoCache untuk caching data dan DLF-Auth untuk otentikasi.
Spark	Menghapus konfigurasi terkait `jdo` dari hive-site.xml.
HBase	Menambahkan item konfigurasi. Anda dapat memilih versi HBase Thrift Server, termasuk v1 dan v2, sesuai kebutuhan.
StarRocks	StarRocks2 ditingkatkan ke versi 2.5.10.
Doris	Doris ditingkatkan ke versi 1.2.7.
Celeborn	Celeborn ditingkatkan ke versi 0.3.1.
Paimon	Paimon ditingkatkan ke versi 0.6-ali-2.
ClickHouse	ClickHouse ditingkatkan ke versi 23.8.2.7.

EMR 3.48.x

Tanggal rilis

Versi	Tanggal
EMR-3.48.2	17 Agustus 2023

Detail pembaruan

Layanan	Perubahan
Trino	Memperbaiki masalah di mana konektor Paimon tidak dapat berhasil mengquery tabel HDFS. Memperbaiki masalah di mana metrik pemantauan worker tidak dapat dibaca.
Presto	Ditingkatkan ke versi 0.283. Memperbaiki masalah di mana metrik pemantauan worker tidak dapat dibaca.
ClickHouse	Memberikan semua izin kepada pengguna default secara default.
StarRocks	Mengganti nama StarRocks sebelumnya menjadi StarRocks2. Menambahkan StarRocks3, versi 3.1.2. Secara default, dibuat sebagai versi coupled penyimpanan-komputasi. Versi terpisah penyimpanan-komputasi tidak didukung.
Celeborn	Ditingkatkan ke versi 0.3.0.

EMR 3.47.x

Tanggal rilis

Versi	Tanggal
EMR-3.47.0	3 Agustus 2023

Detail pembaruan

Layanan	Perubahan
Hudi	Ditingkatkan ke versi 0.13.1.
Paimon	Ditingkatkan ke versi 0.5-ali-1.
StarRocks	Ditingkatkan ke versi 2.5.8.
JindoData	Ditingkatkan ke versi 4.6.11.
Trino	Ditingkatkan ke versi 422. Konektor Hudi mendukung mengquery tabel Merge On Read (MOR). Pesan kesalahan untuk pemuatan UDF dinamis dioptimalkan.

EMR 3.46.x

Tanggal rilis

Versi	Tanggal
EMR-3.46.1	13 Juli 2023
EMR-3.46.0 (Pembelian baru tidak didukung)	1 Juni 2023

Detail pembaruan

EMR-3.46.1

Layanan	Deskripsi
Spark	Secara default, OSS-HDFS digunakan untuk menyimpan data Spark History Server. OSS atau OSS-HDFS digunakan untuk menyimpan data Spark3 Native Engine.
Hive	Secara default, OSS-HDFS digunakan untuk menyimpan data di file gudang Hive.
OSS-HDFS	Layanan OSS-HDFS ditambahkan.
YARN	Secara default, OSS-HDFS digunakan untuk menyimpan data.
HBase	Secara default, OSS-HDFS digunakan untuk menyimpan data HBase dalam format HFile. OSS-HDFS digunakan untuk menyimpan log write-ahead logging (WAL) HBase.

EMR-3.46.0

Layanan	Perubahan
Kyuubi	Ditingkatkan ke versi 1.7.1.
Celeborn	Ditingkatkan ke versi 0.2.2.
Paimon	Mengganti nama Flink-Table-Store menjadi Paimon. Ditingkatkan ke versi 0.4-ali-1.
Starrocks	Ditingkatkan ke versi 2.5.5.
Doris	Ditingkatkan ke versi 1.2.4.
ClickHouse	Ditingkatkan ke versi 22.8.17.17.
Trino	Secara default menyediakan Event Listener sederhana untuk mendapatkan log audit.
Phoenix	Mendukung Hive on Phoenix.

EMR 3.45.x

Tanggal rilis

Versi	Tanggal
EMR-3.45.1	3 April 2023
EMR-3.45.0 (Pembelian baru tidak didukung)	28 Februari 2023

Detail pembaruan

EMR-3.45.1

Layanan	Deskripsi
ClickHouse	ClickHouse diperbarui ke 22.8.14.53.
Trino	Konektor odps.properties ditambahkan. Hal ini memungkinkan Anda mengquery data MaxCompute.
JindoData	JindoData diperbarui ke 4.6.5.
JindoSDK	JindoSDK diperbarui ke 4.6.5.
Flink Table Store	Flink Table Store diperbarui ke 0.3-ali-2.
YARN	Fitur Node Labels didukung.

EMR-3.45.0

Layanan	Perubahan
Iceberg	Ditingkatkan ke versi 1.1.0.
Hudi	Ditingkatkan ke versi 0.12.2. Mendukung fitur CDC.
Kudu	Ditingkatkan ke versi 1.16.0.
Clickhouse	Ditingkatkan ke versi 22.3.8.39. Layanan ZooKeeper harus dipilih saat menginstal layanan ClickHouse.
Celeborn	Mengganti nama RSS menjadi Celeborn. Versi Celeborn adalah 0.2.0.
Presto	Layanan ditambahkan. Kernel-nya adalah PrestoDB komunitas Facebook versi 0.278.3. Port HTTP default adalah 8889, dan port HTTPS adalah 7779.
DeltaLake	Ditingkatkan ke versi 2.2.0.
StarRocks	Ditingkatkan ke versi 2.4.3.
Doris	Ditingkatkan ke versi 1.2.1.
Kafka-Manager	Ditingkatkan ke versi 3.0.0.6.
Impala	Layanan ini offline.
OpenLDAP	Ditingkatkan ke versi 2.4.46.
Kyuubi	Ditingkatkan ke versi 1.6.1.
Ranger	Ditingkatkan ke versi 2.3.0.
HBase	Mendukung ThriftServer2. Nilai default parameter hbase.block.data.cachecompressed diubah menjadi true.
Flink-Table-Store	Layanan ditambahkan, berdasarkan versi komunitas 0.3.
JindoData	Ditingkatkan ke versi 4.6.4.

EMR 3.44.x

Tanggal rilis

EMR-3.44.0 dirilis pada 1 Desember 2022.

Detail pembaruan

Layanan	Perubahan
Iceberg	Ditingkatkan ke versi 0.14.1.
Flink	Ditingkatkan ke Flink1.15-vvr-6.0.2, yang sesuai dengan versi utama komunitas Flink 1.15.
Kafka	Mendukung otentikasi dan otorisasi logon pengguna LDAP. Mendukung otorisasi grup pengguna.
Trino	EMR Presto diganti namanya menjadi nama resmi komunitasnya, Trino. Mendukung Ranger dan DLF AUTH. Memperbaiki masalah di mana koneksi ke node worker gagal setelah LDAP diaktifkan dengan sekali klik.
JindoSDK	Ditingkatkan ke versi 4.6.2.
JindoData	Ditingkatkan ke versi 4.6.2.
HBase	Mendukung Ranger. Memperbaiki masalah di mana OSS-HDFS tidak dapat dipilih sebagai mode penyimpanan saat menambahkan layanan.
YARN	ACL diaktifkan secara default dalam mode keamanan tinggi.
Starrocks	Ditingkatkan ke versi 2.3.4.
Doris	Ditingkatkan ke versi 1.1.5.
Hudi	Konsol mendukung konfigurasi hudi-defaults.conf.
Ranger	Mendukung integrasi dengan Trino, YARN, HBase, dan Kafka.
DLF-Auth	Ditingkatkan ke versi 2.0.2. Mendukung Trino dan Impala.
OpenLDAP	Diintegrasikan dengan komponen Nslcd.
Kudu	Kudu Tserver tidak dapat lagi diinstal di grup node Task.
Spark	Ditingkatkan ke versi 3.3.1.
Tez	Ditingkatkan ke versi 0.10.2.
Kyuubi	Ditingkatkan ke versi 1.6.0.

EMR 3.43.x

Tanggal rilis

Versi	Tanggal
EMR-3.43.1	8 November 2022
EMR-3.43.0 (Pembelian baru tidak didukung)	14 Oktober 2022

Detail pembaruan

EMR-3.43.1

Layanan	Perubahan
Kerberos	Mendukung koneksi ke KDC eksternal di EMR.
Kafka	Mendukung penambahan item konfigurasi perintah startup untuk menyesuaikan parameter startup layanan.
JindoData	Ditingkatkan ke versi 4.6.0. Mendukung penulisan ulang path akses OSS-HDFS.
Flink	Ditingkatkan ke versi 1.13_vvr_4.0.15.
RSS	Ditingkatkan ke versi 0.1.4.

EMR-3.43.0

Layanan	Perubahan
Spark	Ditingkatkan ke versi 3.3. Mendukung pengaktifan otentikasi identitas Kerberos.
Hudi	Ditingkatkan ke versi 0.12.0. Mendukung Spark 3.3. Mendukung penggunaan cloud MetaStore untuk menghosting metadata dan mengaktifkan fitur akselerasi. Untuk informasi lebih lanjut, lihat Panduan penggunaan Hudi MetaStore.
Flink	Mendukung pengaktifan otentikasi identitas Kerberos. Mendukung koneksi otomatis dengan Data Lake Formation (DLF).
Iceberg	Ditingkatkan ke versi 0.14.0. Mendukung Spark 3.3. Mendukung pengaktifan otentikasi identitas Kerberos.
JindoData	Ditingkatkan ke versi 4.5.1. Mendukung akses ke sumber daya Alibaba Cloud tanpa AccessKey teks biasa.
Hadoop-Common dan HDFS	Mendukung pengaktifan otentikasi identitas Kerberos. Memperbaiki kerentanan keamanan CVE-2022-25168.
Knox	Diintegrasikan dengan Ranger. UI Ranger dapat diakses dari tab Access Links And Ports.
HBase	Ditingkatkan ke versi 1.7.1. Mendukung pengaktifan otentikasi identitas Kerberos. Mendukung konfigurasi berbasis grup.
RSS	Ditingkatkan ke versi 0.1.2. Mendukung pengaktifan otentikasi identitas Kerberos.
Doris	Ditingkatkan ke versi 1.1.2. Mendukung pengaktifan otentikasi identitas Kerberos.
StarRocks	Ditingkatkan ke versi 2.2.6. Mendukung pengaktifan otentikasi identitas Kerberos.
Kafka	Ditingkatkan ke versi 2.13_3.2.1. Mendukung pengaktifan otentikasi identitas Kerberos.
DeltaLake	Ditingkatkan ke versi 2.1.0. Mendukung Spark 3.3. Mendukung pengaktifan otentikasi identitas Kerberos.
Kudu	Komponen ditambahkan. Versinya adalah 1.14.0.
Impala	Mendukung pembuatan view di DLF. Mendukung pengaktifan otentikasi identitas Kerberos.
YARN, Imapla, Ranger, Hive, Kyuubi, Tez, Kafka, Zookeeper, DLF-Auth, Phoenix, Sqoop, Presto	Mendukung pengaktifan otentikasi identitas Kerberos.

EMR 3.42.x

Tanggal rilis

EMR-3.42.0 dirilis pada 5 Agustus 2022.

Detail pembaruan

Layanan	Perubahan
Hive	Mendukung integrasi satu klik dengan LDAP.
Presto	Ditingkatkan ke versi komunitas 389. Menggunakan konektor Delta Lake dan Hudi standalone yang disediakan oleh komunitas. Versi konektor Delta Lake ini tidak mendukung Time Travel dan Z-Order. Versi konektor Hudi ini tidak mendukung pengqueryan tabel MOR. Mendukung integrasi satu klik dengan LDAP.
DeltaLake	Diintegrasikan dengan DLF untuk manajemen tabel lake otomatis. Mendukung otorisasi Ranger. Memperbaiki masalah di mana statistik tidak dapat dikumpulkan untuk field timestamp. Perintah optimize dan vacuum sekarang mendukung pengembalian informasi metrik.
Hudi	Ditingkatkan ke versi 0.11.1.
HadoopCommon	Menambahkan komponen baru untuk menyelesaikan masalah konfigurasi HDFS, YARN, dan JindoSDK yang saling menimpa.
YARN	Menambah fitur elastis.
Ranger	Mendukung Spark2 dan Spark3. Ranger Usersync mendukung integrasi satu klik dengan LDAP.
Kafka	CruiseControl secara otomatis membuat topik terkait saat startup.
HBase	Komponen ditambahkan. Versinya adalah 1.4.9.
Phoenix	Komponen ditambahkan. Versinya adalah 4.14.1.
Doris	Ditingkatkan ke versi 1.1.1.
StarRocks	Ditingkatkan ke versi 2.2.3.
ClickHouse	Memperbaiki masalah overflow memori saat membaca file besar dari OSS.

EMR 3.40.x

Tanggal rilis

EMR-3.40.0 dirilis pada 21 April 2022.

Detail pembaruan

Layanan	Perubahan
JindoData	Komponen ditambahkan. Versinya adalah 4.3.0.
JindoSDK	Ditingkatkan ke versi 4.3.0.
Spark	Ditingkatkan ke versi 3.2.1.
Hive	Memperbaiki bug di mana TEZ berulang kali melakukan commit saat Speculation diaktifkan. Memperbaiki bug di mana UDF hanya dapat dipanggil setelah memuat ulang fungsi.
Presto	Memperbaiki bug di mana layanan Presto tidak dapat dimulai setelah ditambahkan saat kluster Hadoop diinisialisasi.
DeltaLake	Memperbaiki masalah kompatibilitas dengan Streaming SQL.
Hudi	Ditingkatkan ke versi 0.10.1.
Iceberg	Ditingkatkan ke versi 0.13.1.
YARN	Menambahkan fitur untuk membatasi ApplicationMasters (AM) hanya berjalan di node grup CORE. Memperbaiki masalah di mana konfigurasi mareduce.map.java.opts tidak memiliki taihaodoctor.
Zookeeper	Konfigurasi parameter JVM dioptimalkan.
Flink	Diadaptasi untuk JindoSDK 4.3.0.
Impala
Flume
Druid
Sqoop	Versi PostgreSQL ditingkatkan.
Zeppelin	Menyelesaikan masalah kegagalan startup dengan JDBC Interpreter.
Ranger	Plugin Spark Ranger 1.2.0 mendukung Hudi.
Oozie	Log4j ditingkatkan ke versi 2.17.2.
HBase	Memperbaiki masalah di mana RegionServer tidak dapat dimulai di HBase 1.4.9.
DLF-Auth	Ditingkatkan ke versi 2.0.0.

EMR 3.39.x

Tanggal rilis

Versi	Tanggal
EMR-3.39.2	25 Maret 2022
EMR-3.39.1 (Pembelian baru tidak didukung)	15 Februari 2022

Detail pembaruan

EMR-3.39.2

Catatan

Hanya kluster OLAP dan kluster DataFlow di konsol EMR baru yang mendukung versi ini.

Layanan	Perubahan
Flink	Dashboard manajemen kinerja aplikasi (APM) ditingkatkan dan metrik pemantauan baru ditambahkan, seperti sourceIdleTime. Mendukung peringatan CloudMonitor.
Kafka	Mendukung konfigurasi SSL dan SASL. Memodifikasi nilai default beberapa parameter.
Clickhouse	Memodifikasi nilai default beberapa parameter.

EMR-3.39.1

Layanan	Perubahan
SmartData	Komponen ini offline.
BIGBOOT	Komponen ini offline.
RSS	Layanan ESS ditingkatkan ke RSS. Untuk informasi lebih lanjut, lihat RSS. Fitur dan stabilitas layanan ditingkatkan.
JindoSDK	Arsitektur ditingkatkan ke JindoData. EMR mengintegrasikan JindoSDK 4.0 untuk pertama kalinya dan mendukung layanan seperti OSS dan OSS-HDFS..
Spark	Hive on Spark dioptimalkan. Diadaptasi untuk JindoSDK.
Tez	Diadaptasi untuk JindoSDK.
Hive	Diadaptasi untuk JindoSDK.
Presto	Mendukung pemuatan UDF dinamis. Tabel Delta Lake mendukung query Time Travel dengan sintaks `for ... as of`. Menambahkan Catalog Delta Lake standalone, menyediakan konfigurasi konektor Delta default, dan mendukung optimasi Dataskip ZOrder berdasarkan Catalog standalone. Memperbaiki masalah di mana konektor Hudi tidak dapat mengquery tabel Hudi MOR. Konektor Hive tidak mendukung pengqueryan tabel Hudi MOR. Diadaptasi untuk JindoSDK.
Delta Lake	Manajemen metadata Menggunakan Spark Catalog bawaan alih-alih API CLI Hive untuk menyinkronkan metadata dan informasi partisi. Secara otomatis melaporkan statistik tabel (dataProfiling) ke MetaStore. SQL Mendukung sintaks Time Travel. Mendukung sintaks SQL DropPartition. Mendukung operasi ADD COLUMN pada posisi tertentu (FIRST dan AFTER). Kemampuan manajemen tabel ditingkatkan Mendukung dan mengaktifkan penyesuaian dinamis ukuran file berdasarkan ukuran tabel secara default. Mendukung dan mengaktifkan Vacuum otomatis secara default. Mendukung Vacuum konkuren. Logika kompaksi otomatis dioptimalkan, yang secara default dinonaktifkan. Menambahkan sintaks Zorder dan mempercepat proses Zorder.
Hudi	Ditingkatkan ke versi 0.10.0.
HDFS	Diadaptasi untuk JindoSDK.
YARN	Diadaptasi untuk JindoSDK.
Flume	Diadaptasi untuk JindoSDK.
Flink	Secara default, direktori lib Flink diunggah ke kluster HDFS, sehingga Anda dapat menggunakannya dengan parameter yarn.provided.lib.dirs. Diadaptasi untuk JindoSDK.
Impala	Diadaptasi untuk JindoSDK.
Ranger	Memperbaiki masalah kegagalan startup Spark History Server. Diadaptasi untuk JindoSDK.
HBase	Memperbaiki masalah dengan parameter default. Memperbaiki masalah format tanggal log GC. Memperbaiki masalah restart saat RS menggunakan alamat IP.
Druid	Diadaptasi untuk JindoSDK.
Clickhouse	Logika penanganan saat komponen ClickHouse dihentikan dioptimalkan.
Iceberg	Ditingkatkan ke versi 0.13.0. Item konfigurasi default disembunyikan untuk meningkatkan pengalaman pengguna.
DLF-Auth	Memperbaiki masalah kegagalan startup Spark History Server.
StarRocks	Layanan ditambahkan ke konsol baru. Versi 2.0.1 dirilis.

EMR 3.38.x

Tanggal rilis

Versi	Tanggal
EMR-3.38.3	Desember 2021
EMR-3.38.2 (Pembelian baru tidak didukung)	Desember 2021
EMR-3.38.1 (Pembelian baru tidak didukung)	November 2021
EMR-3.38.0 (Pembelian baru tidak didukung)	Oktober 2021

Detail pembaruan

EMR-3.38.3

Memperbaiki kerentanan keamanan Log4j di semua komponen terkait. Untuk informasi lebih lanjut, lihat Pengumuman Kerentanan | Kerentanan Eksekusi Kode Jarak Jauh Apache Log4j2.

Layanan	Perubahan
Presto	Memperbaiki kesalahan yang terjadi saat Presto mengquery tabel Hudi di kluster ketersediaan tinggi. Memperbaiki kerentanan Log4j pada konektor Elasticsearch.
DLF Metastore	Mengubah pengaturan default log Metastore dari diaktifkan menjadi dinonaktifkan. Memperbaiki kesalahan yang disebabkan oleh URI yang terlalu panjang di Metastore gettablestats.
Delta Lake	Memperbaiki masalah dengan menyinkronkan perubahan skema ke Metastore.
Flink	VVR ditingkatkan ke versi 4.0.11. Versi ini mendukung fitur-fitur berikut: Merilis fitur Flink CDC komersial: Mendukung Schema Evolution. Mendukung semantik Flink SQL untuk sinkronisasi database penuh. Mendukung penggunaan Gemini Statebackend untuk menyimpan state di OSS. Menyediakan konektor Hudi edisi perusahaan dengan DLF bawaan untuk manajemen metadata.
Sqoop	Memperbaiki masalah kehilangan presisi untuk tipe Decimal saat mengimpor tabel HCatalog dengan Sqoop.

EMR-3.38.2

Layanan	Perubahan
SmartData	SmartData ditingkatkan ke versi 3.8.0. Untuk informasi lebih lanjut, lihat Pengenalan SmartData 3.8.x. Mendukung manajemen otentikasi dan otorisasi untuk OSS berbasis Kerberos dan Ranger.

EMR-3.38.1

Layanan	Perubahan
SmartData	SmartData ditingkatkan ke versi 3.7.3. Untuk informasi lebih lanjut, lihat Pengenalan SmartData 3.7.x.
Spark	Menghapus konfigurasi Log4j MetricsAppender yang tidak valid. Memperbaiki masalah NullPointerException selama startup SparkContext.
Presto	Memperbaiki masalah di kluster Hadoop ketersediaan tinggi di mana Presto memerlukan konfigurasi host untuk mengquery tabel Hive. Memperbaiki masalah kegagalan startup Presto di bawah konfigurasi default saat memori rendah. Memperbaiki masalah di mana modifikasi konfigurasi worker-jvm tidak berlaku. Mendukung Ranger.
Impala	Memperbaiki `no such method error` yang terjadi saat mengquery tabel metadata DLF.
Ranger	Mendukung Presto. Memperbaiki masalah izin Ranger Spark saat memasukkan data ke tabel ORC dan PARQUET. Memperbaiki masalah di mana izin peran Ranger Hive tidak berlaku setelah Kerberos diaktifkan.
DLF-Auth	DLF-Auth ditingkatkan ke versi 1.0.1. Mendukung izin DLF untuk mengontrol izin Presto. Memperbaiki masalah caching pengguna RAM.

EMR-3.38.0

Layanan	Perubahan
SmartData	SmartData ditingkatkan ke versi 3.7.2. Untuk informasi lebih lanjut, lihat Pengenalan SmartData 3.7.x.
Spark	Spark ditingkatkan ke versi 2.4.8. Mendukung Spark 2.4.8 dan Spark 3.1.2. Catatan Spark3 tidak mendukung Delta atau Remote Shuffle Service. Untuk seri Spark 3.x, kinerja SparkSQL untuk perhitungan Distinct dioptimalkan. Optimasi dipicu ketika operator agregat berisi beberapa ekspresi `count(distinct case ... when ...)`. Memperbaiki masalah indeks array di luar batas dalam Adaptive Query Execution (AQE) saat statistik tidak tersedia. Memperbaiki kesalahan yang terjadi dengan AQE dan Cache dalam skenario tertentu.
Hive	Hive ditingkatkan ke versi 2.3.9.
Presto	Dirilis sebagai kluster Presto standalone. Presto ditingkatkan ke versi komunitas 358. Penting Versi ini tidak mendukung Ranger. Secara default mendukung konektor seperti Hudi dan MySQL, dan memperbarui konfigurasi default. Kluster Presto mendukung skalabilitas elastis. Mendukung analitik data lake.
DeltaLake	Konektor delta untuk Hive 2 dan Hive 3 disatukan. Memperbaiki kesalahan yang terjadi saat mengquery tabel partisi multi-level dengan konektor delta.
Hudi	Hudi ditingkatkan ke versi 0.9.0. Memperbaiki masalah kompatibilitas antara sql.extension antara DeltaLake dan Hudi.
HDFS	Parameter default untuk kapasitas terjadwal NameNode sekarang meningkat secara otomatis. Hal ini memastikan NameNode memasuki safe mode segera saat ruang disk rendah.
Flink	Flink ditingkatkan ke versi 1.13-vvr-4.0.10, yang sesuai dengan Flink komunitas 1.13.1. Menambahkan Flink Connectors komersial, seperti konektor Hologres. Menambahkan Metric Reporter yang sesuai dan mengintegrasikannya dengan dashboard APM untuk pemantauan. Untuk Konektor Kafka, menambahkan Kafka Catalog berbasis SchemaRegistry. Hal ini memungkinkan Anda membaca dan menulis langsung ke topik Kafka yang ada tanpa menggunakan DDL.
Storm	Komponen ini offline.
Zeppelin	Zeppelin ditingkatkan ke versi komunitas 0.10.0.
Ranger	Ketika Presto adalah versi komunitas 358, versi Ranger ini tidak mendukung kontrol akses Presto.
Hue	Memperbaiki masalah di mana YARN Job Browser tidak dapat menampilkan atau menghentikan pekerjaan dengan benar dalam beberapa kasus. YARN Job Browser diaktifkan dalam konfigurasi default. Protokol Presto didukung dalam konfigurasi default.
Druid	Memperbaiki kegagalan restart node yang disebabkan oleh file PID sisa setelah kehilangan daya server.
ClickHouse	Konfigurasi default diperbarui. Mendukung skala keluar kluster. Mendukung fitur MetaChecker. Mendukung pembacaan data menggunakan mesin tabel OSS dan fungsi tabel OSS. Mendukung alamat ZooKeeper kustom di tingkat tabel.
Iceberg	Komponen ditambahkan. Versinya adalah 0.12.0-1.0.1.
Knox	Memperbaiki masalah di mana akses pertama ke tugas Spark gagal.
DLF-Auth	Komponen ditambahkan. Mendukung izin DLF untuk mengontrol izin Hive dan Spark. Versinya adalah 1.0.0.
ESS	ESS ditingkatkan ke versi 1.2.0.

EMR 3.37.x

Tanggal rilis

Versi	Tanggal
EMR-3.37.1	September 2021
EMR-3.37.0 (Pembelian baru tidak didukung)	Agustus 2021

Detail pembaruan

EMR-3.37.1

Layanan	Perubahan
SmartData	SmartData ditingkatkan ke versi 3.7.1.
Hue	Memperbaiki masalah di mana Impala tidak dapat digunakan di kluster keamanan tinggi.
Kudu	Mendukung Kerberos.

EMR-3.37.0

Layanan	Perubahan
SmartData	SmartData ditingkatkan ke versi 3.7.0.
Spark	Memperbaiki masalah kompatibilitas dengan Delta Lake.
Delta Lake	Konektor-Delta ditingkatkan untuk mendukung pembuatan dan pengqueryan tabel menggunakan sintaks StorageHandler. Memperbaiki masalah yang terjadi saat menggunakan INSERT OVERWRITE pada tabel partisi. Memperbaiki masalah di mana Optimize menulis field virtual ke file dalam skenario G-SCD.
YARN	Menambahkan informasi penggunaan sumber daya appId, CPU, dan memori ke REST API Containers node. Memperbaiki masalah di mana log ApplicationMaster (AM) tidak dapat dilihat di node yang dirilis oleh Auto Scaling. Menambahkan dukungan untuk membersihkan node yang dirilis setelah dinonaktifkan oleh Auto Scaling. Memperbaiki logika decommission yang mulus untuk Auto Scaling. Node sekarang ditandai sebagai offline hanya setelah proses NodeManager (NM) berakhir.
ZooKeeper	Ditingkatkan ke versi komunitas 3.6.3.
Flink	Menambahkan komponen SmartData. Memperbaiki masalah yang mencegah akses tanpa kata sandi ke OSS saat mengirimkan pekerjaan ke kluster DataFlow-Flink melalui Secure Shell (SSH).
Impala	Memperbaiki masalah yang menyebabkan loop tak terbatas saat mencantumkan direktori setelah direktori partisi OSS dihapus secara langsung.
Hue	Memperbaiki masalah tampilan di antarmuka pengguna saat Hue digunakan dengan Oozie.
Kudu	Ditingkatkan ke versi komunitas 1.14.0.
ClickHouse	Konfigurasi default diperbarui.

EMR-3.36.x

Tanggal rilis

EMR-3.36.1 dirilis pada 16 Juli 2021.

Pembaruan

Layanan	Perubahan
SmartData	SmartData ditingkatkan ke versi 3.6.1. Untuk informasi lebih lanjut, lihat Pengenalan SmartData 3.6.x.
Hive	Hive ditingkatkan ke versi 2.3.8. Memperbaiki masalah di mana hasil yang salah dikembalikan saat Anda menjalankan perintah `show create table` menggunakan metadata Data Lake Formation (DLF). Parameter default Hive dioptimalkan untuk meningkatkan kinerja pekerjaan. Nama item konfigurasi di halaman hive-env pada halaman Configuration layanan Hive di konsol E-MapReduce diubah menjadi huruf kapital untuk memudahkan penggunaan. Pesan kesalahan yang dilaporkan karena ketidakcocokan antara sistem file dan metastore Hive saat menulis data ke tabel Hive dioptimalkan.
HDFS	Menambahkan dukungan untuk format kompresi Zstandard (ZSTD).
Flink	Flink ditingkatkan ke versi 1.12-vvr-3.0.2. Catatan Flink dihapus dari kluster Hadoop.
Hudi	Hudi ditingkatkan ke versi 0.8.0. Menambahkan dukungan untuk integrasi dengan Spark SQL.
Spark	Optimasi nama item konfigurasi di tab spark-defaults pada halaman Configuration layanan Spark di konsol E-MapReduce. Optimasi kinerja output log. Menambahkan dukungan untuk format kompresi ZSTD.
Impala	Memperbaiki masalah yang menyebabkan kesalahan core dump saat Anda menggunakan Hadoop Distributed File System (HDFS).
Tez	Parameter default Tez dioptimalkan untuk meningkatkan kinerja pekerjaan.
Knox	Menambahkan dukungan untuk komponen Kudu. Menambahkan dukungan untuk komponen Impala. Menambahkan dukungan untuk komponen Hbase.
Phoenix	Memperbaiki masalah di mana kesalahan "Java Database Connectivity (JDBC) Driver tidak ditemukan" dilaporkan saat Anda menggunakan Hive atau Spark SQL untuk mengakses tabel Phoenix.
ClickHouse	Pemantauan dan peringatan manajemen kinerja aplikasi (APM) diaktifkan.

EMR-3.35.x

Tanggal rilis

EMR-3.35.0 dirilis pada 21 April 2021.

Pembaruan

Layanan	Perubahan
SmartData	Ditingkatkan ke versi 3.5.0. Untuk detail versi, lihat Pengenalan SmartData 3.5.x.
Spark	Memperbaiki masalah di mana Eksekusi Adaptif tidak berlaku dalam beberapa skenario. Memperbaiki masalah di mana perilaku fungsi agregat statistik tidak konsisten dengan Hive. Memperbaiki masalah di mana data tipe char dibaca secara salah dari tabel Hive ORC.
HDFS	Menambahkan dukungan untuk algoritma enkripsi nasional SM4.
Hue	Hue ditingkatkan ke versi 4.9.0.
Alluxio	Alluxio ditingkatkan ke versi 2.5.0.
Druid	Druid ditingkatkan ke versi 0.20.1. Keamanan ditingkatkan.
Livy	Livy ditingkatkan ke versi 0.7.1.

EMR 3.34.x

Tanggal rilis

EMR-3.34.0 dirilis pada 15 Maret 2021.

Perubahan

Layanan	Perubahan
SmartData	Ditingkatkan ke versi 3.4.0. Untuk informasi lebih lanjut, lihat Pengenalan SmartData 3.4.x.
Spark
Hive	Beberapa konfigurasi default dioptimalkan. Optimasi kinerja: Meningkatkan optimalisasi berbasis biaya (CBO). Menambahkan dukungan untuk mengaktifkan atau menonaktifkan fitur LDAP dengan sekali klik. Calcite ditingkatkan ke versi 1.12.0. Menambahkan parameter hive.security.authorization.sqlstd.confwhitelist.append.
Presto	Menambahkan dukungan untuk mengaktifkan atau menonaktifkan fitur LDAP dengan sekali klik.
YARN	Memperbaiki ancaman keamanan penting terkait akses tidak sah ke UI web Hadoop. Ancaman tersebut terjadi saat mengakses UI web YARN melalui terowongan Secure Shell (SSH), yang memerlukan user.name=name untuk secara eksplisit ditentukan dalam URL.
Zookeeper	Ditingkatkan ke versi 3.6.2.
Flink	Berkas config.sh diperbarui selama inisialisasi untuk memperbaiki masalah HADOOP_CLASSPATH.
Impala	Impala ditingkatkan ke versi 3.4.0. Shiro ditingkatkan ke versi 1.7.0. Menambahkan dukungan untuk metadata Data Lake Formation (DLF). Menambahkan dukungan untuk mengquery data dalam format Delta. Menambahkan dukungan untuk mengaktifkan atau menonaktifkan fitur LDAP dengan sekali klik.
Tez	Konfigurasi default dioptimalkan.
HAS	Memperbaiki masalah di mana berkas admin.keytab tidak dapat diinisialisasi ulang setelah terjadi kesalahan selama alur instalasi HAS.
Ranger	Masalah yang disebabkan oleh filter pushdown di Spark telah diperbaiki. Masalah yang mencegah Presto diaktifkan setelah Anda menonaktifkan Presto di Ranger telah diperbaiki. Otentikasi LDAP dapat diaktifkan atau dinonaktifkan dengan sekali klik.
Knox	Memperbaiki masalah dengan tautan Knox untuk Druid 0.20.0.
Hue	Menambahkan dukungan untuk mengaktifkan atau menonaktifkan fitur LDAP dengan sekali klik.
Hudi
Delta Lake
Superset	Masalah yang mencegah pengguna admin masuk ke UI web telah diperbaiki. Set data kompatibel dengan kluster Druid. Set data Spark SQL tidak lagi didukung.
Sqoop	Menambahkan dukungan untuk mengimpor file dalam format Parquet ke Object Storage Service (OSS).
Alluxio	Ditingkatkan ke versi 2.4.1.
Phoenix	Hive on Phoenix sekarang mendukung pengaturan bidang pendukung.
Pig	Dihapus.

EMR-3.33.x

Tanggal rilis

EMR-3.33.0 dirilis pada 15 Januari 2021.

Pembaruan

Layanan	Perubahan
SmartData	Ditingkatkan ke versi 3.2.0. Untuk informasi lebih lanjut, lihat Pengenalan SmartData 3.2.x.
Spark	Ditingkatkan ke versi 2.4.7. jQuery ditingkatkan ke versi 3.5.1. Menambahkan kompatibilitas dengan Hive untuk memperbarui ukuran tabel dan partisi secara otomatis. Menambahkan dukungan untuk mengeluarkan metadata Spark dan informasi eksekusi pekerjaan ke DataWorks.
Hive	Ditingkatkan ke versi 2.3.7. HCatalog sekarang mendukung Data Lake Formation. Menambahkan dukungan untuk mengeluarkan metadata Hive dan informasi eksekusi pekerjaan ke DataWorks.
Metastore	Menambahkan fitur Statistik Hive. HCatalog sekarang mendukung Data Lake Formation. Metode untuk mendapatkan token STS dioptimalkan.
HDFS	jQuery ditingkatkan ke versi 3.5.1.
YARN	jQuery ditingkatkan ke versi 3.5.1. Konfigurasi Fair Scheduler disesuaikan. Timeline Server dioptimalkan.
Zeppelin	Ditingkatkan ke versi 0.9.0.
Ranger	Menambahkan konfigurasi log audit untuk Hive. Menambahkan konfigurasi audit untuk Log4j.
OpenLDAP	Menambahkan fitur audit. Port SSL (10636) diaktifkan secara default. Menambahkan dukungan untuk startup Presto dengan sekali klik.
Knox	Memperbaiki kerentanan Spring. Memperbaiki masalah saat melihat halaman Executors di UI Spark. Memperbaiki masalah pada halaman status pekerjaan Oozie.
Hue	Menambahkan dukungan untuk Presto.
Druid	Ditingkatkan ke versi 0.20.0.
EMRHook	Menambahkan layanan perangkat lunak baru. hive-hook: Mendukung pengeluaran metadata Hive dan informasi eksekusi pekerjaan ke DataWorks. spark-hook: Mendukung pengeluaran metadata Spark dan informasi eksekusi pekerjaan ke DataWorks.

EMR-3.32.x

Tanggal rilis

EMR-3.32.0 dirilis pada 23 November 2020.

Pembaruan

Layanan	Perubahan
SmartData	Ditingkatkan ke versi 3.1.0. Untuk informasi lebih lanjut, lihat Pengenalan SmartData 3.1.x.
Alluxio	Mendukung Alluxio 2.4.0. Pengaturan parameter default diskalakan sesuai ukuran node kluster. Menggunakan HDFS di kluster EMR sebagai UnderFS default. Fitur ini siap digunakan langsung. UnderFS OSS Alluxio ditingkatkan untuk mendukung fitur baru seperti multi-versi OSS. Kompatibel dengan mesin seperti Hadoop, Hive, Spark, dan Presto.
HUDI	Mendukung HUDI 0.6.0.
Spark	JindoTable mendukung mengaktifkan atau menonaktifkan fitur pengumpulan data.
Hive	Memperbaiki masalah kebocoran kolam koneksi di HiveServer. JindoTable mendukung mengaktifkan atau menonaktifkan fitur pengumpulan data. Kinerja `ADD COLUMN` dioptimalkan. Memperbaiki masalah di mana data yang salah dibaca dari tabel HUDI. Pengaturan parameter default diskalakan sesuai ukuran node kluster.
HDFS	Mendukung jumlah snapshot yang lebih besar.
YARN	Pengaturan parameter default diskalakan sesuai ukuran node kluster.
Tez	Pengaturan parameter default diskalakan sesuai ukuran node kluster.
Sqoop	Memperbaiki masalah saat mengimpor file dalam format Avro.

EMR 3.30.x

Tanggal rilis

EMR-3.30.0 dirilis pada 26 Oktober 2020.

Pembaruan

Layanan	Pembaruan
SmartData	Ditingkatkan ke 3.0.0. Untuk informasi lebih lanjut, lihat Pengenalan SmartData 3.0.x.
Spark	Menambahkan dukungan untuk metadata Alibaba Cloud Data Lake Formation (DLF). Dependensi HAS ditingkatkan ke 2.0.1. Memperbaiki masalah dengan backtick dalam Streaming SQL. Package JAR Delta dihapus. Delta sekarang diterapkan secara terpisah. Memodifikasi path log untuk menulis semua log ke HDFS.
Hive	Menambahkan dukungan untuk metadata Alibaba Cloud DLF. Menyelesaikan masalah di mana file DUMMY ditulis saat membaca direktori kosong di tabel Delta. Dependensi HAS ditingkatkan ke 2.0.1.
Presto	Menambahkan dukungan untuk metadata Alibaba Cloud DLF. Menyelesaikan masalah yang membatasi pembacaan tabel Delta. Memperbaiki masalah di mana konfigurasi JVM tidak ada dalam mode keamanan tinggi. Dependensi HAS ditingkatkan ke 2.0.1.
HDFS	Menambahkan dukungan untuk mode disk hot-swappable. Dependensi HAS ditingkatkan ke 2.0.1.
YARN	Memperbaiki masalah dengan YARN RMZKStateStore. Menambahkan dukungan untuk file SNAPPY yang dihasilkan oleh SLS. Memodifikasi konfigurasi direktori untuk mode Local MapReduce untuk menyelesaikan masalah pemeriksaan izin direktori. Menambahkan dukungan untuk mode disk hot-swappable. Menetapkan path log untuk menulis semua log ke HDFS. Dependensi HAS ditingkatkan ke 2.0.1.
Zookeeper	Menambahkan dukungan untuk melampirkan port layanan ke alamat IP internal saat startup. Dependensi HAS ditingkatkan ke 2.0.1.
Flink-Vvp	Ditingkatkan ke versi 1.11-2.2.2. Menambahkan dukungan untuk fitur SQL dan Autopilot. Catatan Hanya kluster Dataflow yang mendukung Flink-Vvp. Kluster Hadoop saat ini tidak mendukung Flink-Vvp.
Flink	Menambahkan dukungan untuk menulis ke OSS dalam mode cache. Fitur ini, dikombinasikan dengan Flink Checkpoints dan Source yang dapat dilanjutkan, mencapai semantik EXACTLY_ONCE. Disinkronkan dengan fitur versi komunitas Flink 1.11.1. SQL sekarang mendukung beberapa output (MULTI INSERT). Dependensi HAS ditingkatkan ke 2.0.1.
Impala	Menambahkan dukungan untuk konfigurasi kustom catalogd.flgs, impalad.flgs, dan statestored.flgs. Shiro ditingkatkan ke versi 1.6.0. Dependensi HAS ditingkatkan ke 2.0.1.
Tez	Parameter memori default untuk Application Master (AM) dioptimalkan. Dependensi HAS ditingkatkan ke 2.0.1.
HAS	Dependensi HAS ditingkatkan ke 2.0.1.
Storm
Zeppelin
Ranger
OpenLDAP
Oozie
Knox
Kafka
HUE
HBase
Druid

EMR-3.29.x

Tanggal rilis

EMR-3.29.0 dirilis pada 29 Juli 2020.

Pembaruan

Layanan	Perubahan
Bigboot	Ditingkatkan ke versi 2.7.301. Jindo DistCp sekarang mendukung penulisan data ke OSS dengan kelas penyimpanan Archive atau Infrequent Access. Fitur FUSE ditingkatkan untuk mendukung beberapa namespace. Fitur caching metadata dalam mode Cache ditingkatkan.
Spark	Spark ditingkatkan ke 2.4.5.2.0. Menambahkan dukungan untuk metastore pihak ketiga. Menambahkan datalake metastore-client.
Hive	Hive ditingkatkan ke 2.3.5.6.0. Menambahkan dukungan untuk metastore pihak ketiga. Menambahkan datalake metastore-client.
Presto	Ditingkatkan ke versi 338.
Ranger	Paket perangkat lunak ditingkatkan ke 1.2.0-1.5.0. Menambahkan dukungan untuk Presto 338. Menambahkan deskripsi ke berkas konfigurasi.
Hadoop Distributed File System (HDFS)	Konfigurasi adaptif diaktifkan untuk ukuran ruang terjadwal datanode.
Knox	Impala, versi Flink terbaru, dan PAI didukung.
Druid	Ditingkatkan ke versi 0.18.1.
SmartData	Ditingkatkan ke versi 2.7.301.

EMR 3.28.x

Tanggal rilis

EMR-3.28.0 dirilis pada 12 Juni 2020.

Fitur baru

Layanan

Perubahan

Bigboot

Meluncurkan versi pertama JindoTable, yang menyediakan statistik hotspot untuk tabel dan partisi.
Menambahkan dukungan untuk kebijakan penyimpanan lengkap dalam mode Block dan kebijakan penyimpanan bertingkat, seperti Infrequent Access dan Archive.
Menambahkan alat migrasi data Jindo DistCp.
Memperbaiki dan memperbaiki Jindo Fuse.
Memperbaiki integrasi skema JFS dengan mesin Hive dan Jindo JobCommitter dalam mode Cache.
Menambahkan fitur untuk mengatur rasio baca dalam mode Block untuk membaca data langsung dari OSS. Hal ini mengurangi overhead membaca dari cache lokal.
Mendekopel modul perangkat lunak JindoFS menjadi Bigboot (lapisan kontrol), Smartdata (layanan terdistribusi), dan SDK JindoFS. Setiap modul dapat ditingkatkan dan dipelihara secara independen.

Pembaruan

Layanan	Perubahan
Flink	Meningkatkan open source Flink ke Ververica Platform Enterprise Edition. Platform ini sangat disesuaikan berdasarkan open source Flink 1.10 dan menyediakan fitur bernilai tambah, seperti mesin penyimpanan Gemini yang dikembangkan sendiri.
Bigboot	Ditingkatkan ke versi 2.7.0.
Delta	Ditingkatkan ke versi 0.6.0. Mendekopel kode Delta dari kode Spark.
Spark	Ditingkatkan ke versi 2.4.5. Mendukung skrip streaming-sql dari DataFactory. Mendukung Delta 0.6.0.
Hive	Mendukung Delta 0.6.0.
Ranger	Mendukung penyebaran kustom Hadoop Distributed File System (HDFS), Hive, dan Spark. Mendukung konfigurasi ranger-admin-site dan ranger-ugsync-site di konsol.
HDFS	Sekarang mencetak informasi pengecualian DataNode saat penulisan HDFS gagal karena tidak ada DataNode yang tersedia (HDFS-9023).
Hue	Mendukung instalasi komponen Hue pada kluster Gateway. Mendukung penyebaran beberapa instance Hue pada satu node.
DataFactory	Mendukung Delta 0.6.0.
Druid	Ditingkatkan ke versi 0.18.0.
Knox	Ditingkatkan ke versi 1.1.0-1.0.7. Mendukung UI HBase.

EMR-3.27.x

Tanggal rilis

Versi	Tanggal
EMR-3.27.0	29 April 2020
EMR-3.27.1 (Pembelian baru tidak didukung)	8 Mei 2020
EMR-3.27.2 (Pembelian baru tidak didukung)	20 Mei 2020

Fitur baru

Fitur

Perubahan

Penyebaran komponen kustom

Menambahkan dukungan untuk penyebaran kustom komponen pada node master. Komponen berikut didukung:

Hadoop
Spark
Hive
Zookeeper
Presto

Shutdown yang mulus untuk Auto Scaling

Saat shutdown yang mulus diaktifkan, node tidak segera dirilis. Mereka dirilis setelah tugas selesai dalam periode waktu tertentu.

Pembaruan

Layanan	Perubahan
Spark	CUBE sekarang mendukung field partisi tipe tanggal. Menambah kedalaman stack Spark-Submit.
Delta	DDL (Data Definition Language) ditingkatkan, termasuk perintah seperti CREATE, SHOW, dan DESCRIBE. Delta sekarang mendukung sintaks Optimize dengan ZOrder.
Knox	Diadaptasi untuk User Interface (UI) Druid. Penyebaran multi-master didukung.
Hive	tabel hcatalog sekarang mendukung magic committer. Menghapus beberapa konfigurasi default yang sudah usang.
Bigboot	Ditingkatkan ke versi 2.6.3. Penyebaran multi-master didukung.
SmartData	Ditingkatkan ke versi 2.6.3. Penyebaran multi-master didukung.
Ranger	Ranger sekarang mendukung komponen Solr. Ranger sekarang mendukung PrestoSQL versi 311.
Tez	Tez sekarang mendukung pengaturan scratchdir di OSS.
Presto	Ditingkatkan ke versi 331.
Druid	Ditingkatkan ke versi 0.17.1.
Superset	Ditingkatkan ke versi 0.35.2.
Sqoop	Paket JAR Java Database Connectivity (JDBC) MySQL ditingkatkan ke versi 5.1.48. Mode ekspor langsung MySQL mendukung pengaturan encoding kustom menggunakan `--mysql-charset`.

EMR-3.26.x

Tanggal rilis

Versi	Tanggal
EMR-3.26.3 (Pembelian baru tidak didukung)	16 April 2020

Pembaruan

Layanan	Perubahan
Bigboot	Ditingkatkan ke versi 2.6.3. Menambahkan dukungan untuk metadata OTS dan Namespace HA.
SmartData
Hive	Tabel HCatalog sekarang mendukung direct committer.
YARN	Mengubah committer default menjadi JindoOssCommitter.
HDFS	Konfigurasi terkait JindoFS ditingkatkan.
Spark	Mengubah committer default menjadi JindoOssCommitter.

EMR-3.25.x

Tanggal rilis

EMR-3.25.0 dirilis pada 13 Januari 2020.

Fitur baru

Layanan Ranger: Menambahkan dukungan untuk operasi Ranger Presto.

Pembaruan

Layanan	Perubahan
Ranger	Menginisialisasi database RangerAdmin untuk kluster ketersediaan tinggi (HA). Memperbaiki masalah keamanan dalam skrip startup RangerUserSync.
Spark	Menambahkan dukungan untuk mengonfigurasi parameter terkait Delta, seperti `spark.sql.extensions`, di konsol. Menambahkan dukungan untuk Hive membaca tabel Delta tanpa mengatur format input. Menambahkan dukungan untuk pernyataan ALTER TABLE SET TBLPROPERTIES dan UNSET TBLPROPERTIES.
Delta
Hive	Memperbaiki masalah di mana eksekusi tugas MapReduce (MR) gagal dalam mode lokal otomatis.
Presto	Ditingkatkan ke versi 310. Versi joda-time ditingkatkan ke 2.10.5.
Tez	Ditingkatkan ke versi 0.9.2. Memperbaiki masalah di mana progres aplikasi tidak ditampilkan dengan benar di antarmuka pengguna (UI) Tez. Memperbaiki masalah di mana riwayat aplikasi tidak dapat dilihat di UI Tez.
Impala	Memperbaiki masalah di mana Impala tidak dapat mengakses tabel LZO.
HDFS	Package JAR terkait mongo-hadoop dihapus.
Zookeeper	Ditingkatkan ke versi 3.5.6.
YARN	Diadaptasi untuk UI Tez. Tab yarn-site sekarang mendukung penambahan item konfigurasi yarn.resourcemanager.system-metrics-publisher.enabled=true.
Bigboot	Ditingkatkan ke versi 2.2.3. Menambahkan dukungan untuk operasi rename dalam mode Cache OSS.
SmartData
Knox	Versi paket dependensi ditingkatkan.
Oozie	Versi paket dependensi ditingkatkan.

EMR-3.24.x

Tanggal rilis

EMR-3.24.0 dirilis pada 18 November 2019.

Fitur baru

Layanan	Perubahan
Delta	Mendukung sintaks SQL, termasuk ALTER, CONVERT, CREATE, CTAS, DELETE, DESC, INSERT, MERGE, OPTIMIZE, UPDATE, dan VACUUM. Perintah OPTIMIZE bawaan dan dioptimalkan. Mendukung konektor Hive. Mendukung fitur open-source lainnya.
Grafana	Ditambahkan sebagai komponen baru untuk kluster Flink standalone. Versi: 6.4.2.
Prometheus	Ditambahkan sebagai komponen baru untuk kluster Flink standalone. Versi: 2.13.0.
AlertManager	Ditambahkan sebagai komponen baru untuk kluster Flink standalone. Versi: 0.19.0.
TensorFlow on spark	Mendukung menjalankan TensorFlow di Spark. Ini mengintegrasikan secara mendalam Spark dengan framework pembelajaran mendalam. Integrasi ini mencakup penjadwalan tugas dan pertukaran data yang dioptimalkan. Ini menyediakan alur kerja lengkap, mulai dari pra-pemrosesan data hingga pelatihan pembelajaran mendalam. Mendukung tugas streaming.

Pembaruan

Layanan	Perubahan
SmartData	Penggunaan mode JindoFS dioptimalkan. Penggunaan mode Block tidak berubah. Mode Cache sekarang mendukung penggunaan aslinya dan juga kompatibel dengan penggunaan sistem file OSS asli. Ini mendukung caching data dan metadata. Fitur-fitur ini dapat diaktifkan atau dinonaktifkan secara terpisah melalui konfigurasi dan dinonaktifkan secara default. Kinerja baca dan tulis untuk mode Block dan mode Cache dioptimalkan. Pembersihan disk dioptimalkan. Ini memberikan statistik yang lebih akurat dan pembersihan yang lebih tepat waktu untuk data panas yang di-cache di disk lokal. Ini secara ketat memastikan bahwa penggunaan disk tidak melebihi kuota. Dukungan untuk kluster Gateway ditingkatkan. Mode Block dan mode Cache sekarang dapat digunakan pada Gateway. Mendukung mode penyebaran di mana satu kluster penyimpanan dipisahkan dari beberapa kluster komputasi.
Spark	Menambahkan dukungan untuk parameter terkait Delta. Menambahkan dukungan untuk konfigurasi plugin Ranger Spark. JindoCube ditingkatkan ke versi 0.3.0.
Hive	Menambahkan logika untuk fitur pemeriksaan kompatibilitas SQL. Merilis kombinasi Hive 2.3.5 dan Hadoop 2.8.5. Saat memulai ulang komponen, konten hiveserver2-site.xml tidak lagi disinkronkan ke hive-site.xml di bawah spark-conf. Mendukung penggunaan perintah MSCK untuk menambahkan folder inkremental. Memperbaiki bug yang terjadi saat Hive menggunakan kembali container Tez. Mendukung penggunaan perintah MSCK untuk mengoptimalkan folder berbasis kolom.
Bigboot	Ditingkatkan ke 2.2.1. Memperbaiki masalah dengan dukungan kode native pada beberapa model mesin.
Ranger	Metode penyebaran untuk plugin Spark direfaktor. Memperbaiki bug di mana header2 di kluster HA tidak mendapatkan keytab.
Kudu	Logika startup diperbaiki.
Zookeeper	Konfigurasi untuk kata empat huruf ditambahkan. Ini diaktifkan secara default.
HDFS	Menambahkan kompatibilitas dengan JindoFS.
YARN	Mengubah nilai default konfigurasi yarn.scheduler.capacity.node-locality-delay menjadi -1. Menambahkan kompatibilitas dengan JindoFS.
Has	Diintegrasikan dengan OpenLDAP sebagai backend.
OpenLDAP	Menambahkan kompatibilitas dengan Has.
Presto	Ditingkatkan ke versi 0.228.
Kafka	Disk D1 yang rusak dihapus.
Druid	Ditingkatkan ke 0.16.0.
Flume	Ditingkatkan ke 1.9.0.
Flink	Ditingkatkan ke 1.9.1. Mendukung kluster Flink standalone (dirilis ke daftar putih).

EMR-3.23.x

Tanggal rilis

EMR-3.23.0 dirilis pada 18 September 2019.

Pembaruan

Layanan	Perubahan
Druid	Ditingkatkan ke 0.15.1. Komponen router ditambahkan. fastjson ditingkatkan.
Spark	Spark Thrift Server diperbarui untuk memperbaiki masalah class loader. Kode transaksi Spark direfaktor untuk meningkatkan stabilitas. Memperbaiki masalah membaca dan menulis file dalam format ORC setelah Hive bawaan ditingkatkan ke versi 2.3. Menambahkan dukungan untuk sintaks MERGE INTO. Menambahkan dukungan untuk sintaks SCAN dan STREAM. Sink Kafka Structured Streaming sekarang mendukung semantik exactly-once (EOS). Delta Lake diperbarui ke 0.4.0.
Hive	Hook Hive versi lama dihapus. Menambahkan optimasi untuk menangani kesenjangan data untuk beberapa field COUNT(DISTINCT). Memperbaiki masalah di mana data hilang saat menggabungkan tabel dengan versi bucket yang berbeda.
Flink	Ditingkatkan ke 1.8.2.
Bigboot	Alat file kecil diperbarui. Paket JAR OSS diperbarui untuk memperbaiki masalah thread non-daemon.
Kafka	Menambahkan dukungan untuk fitur kesadaran Deployment Set. Dependensi fastjson dihapus.
HDFS	Logika penyebaran untuk paket JAR OSS SmartData dioptimalkan. Paket JAR OSS SmartData diperbarui.
Flume	fastjson ditingkatkan.
TensorFlow on Spark	Layanan ini ditambahkan.
HAS	fastjson ditingkatkan.
Livy	fastjson ditingkatkan.

EMR-3.22.x

Tanggal rilis

EMR-3.22.0 dirilis pada 28 Juli 2019.

Fitur baru

Layanan	Perubahan
Kudu	Menambahkan Kudu sebagai komponen baru. Kudu mengisi celah dalam ekosistem Hadoop. Ini menyediakan penyisipan data cepat dan akses acak seperti HBase, dan memungkinkan Anda memodifikasi data. Ini juga menyediakan kemampuan analitik dan query data skala besar seperti Hadoop Distributed File System (HDFS) atau Parquet. Menyediakan API C++ dan Java untuk pengembangan kustom. Terintegrasi dengan Impala, Spark, dan Hive Metastore. Versi Kudu ini berbasis Apache Kudu 1.10.0.
OpenLDAP	Menambahkan OpenLDAP sebagai komponen baru untuk menggantikan ApacheDS. ApacheDS sekarang offline. Mendukung ketersediaan tinggi (HA).

Pembaruan

Komponen	Detail
JindoFileSystem	Beberapa mode penyimpanan Mode Block: Data disimpan sebagai blok di OSS backend. Layanan Namespace lokal memelihara metadata. Mode Block memberikan kinerja metadata dan data yang lebih baik. Mode Block mendukung kebijakan penyimpanan yang berbeda, termasuk WARM (replika lokal, replika OSS), COLD (hanya replika OSS), HOT (beberapa replika lokal, replika OSS), TEMP (hanya replika lokal), dan ALL_HDD (beberapa replika lokal). Kebijakan default adalah WARM. Anda dapat mengatur kebijakan penyimpanan yang berbeda untuk folder berdasarkan skenario aplikasi Anda. Mode Cache: Mode ini kompatibel dengan metode penyimpanan OSS yang ada. Dalam mode Cache, file disimpan sebagai objek di OSS. Data dan metadata untuk setiap file di-cache secara lokal berdasarkan frekuensi akses. Hal ini meningkatkan kinerja akses data dan metadata. Mode Cache menyediakan kebijakan sinkronisasi metadata yang berbeda untuk memenuhi kebutuhan skenario yang berbeda. Dukungan klien eksternal Kit pengembangan perangkat lunak (SDK) klien memungkinkan Anda mengakses sistem file JindoFS EMR dari luar kluster EMR. Anda dapat menggunakan klien untuk mengakses Namespace dalam mode Block. Namun, klien eksternal tidak dapat menggunakan cache data yang dibangun oleh EMR JindoFS dalam kluster EMR. Hal ini mengakibatkan kinerja yang lebih rendah dibandingkan dengan menggunakannya dalam kluster EMR. Mode Cache mempertahankan semantik penyimpanan OSS asli. Ini menggunakan JindoFS untuk mempercepat caching data dalam kluster EMR. Oleh karena itu, Anda dapat langsung mengakses data dari luar kluster EMR menggunakan klien OSS, seperti SDK OSS atau EMR OssFileSystem. Dukungan komponen ekosistem JindoFS sekarang mendukung banyak mesin komputasi di EMR, seperti Spark, Flink, Hive, MapReduce, Impala, dan Presto. Untuk skenario yang memisahkan komputasi dan penyimpanan, Anda juga dapat menyimpan log pekerjaan di JindoFS, seperti log Container YARN dan log Event Spark. JindoFS dapat digunakan sebagai penyimpanan backend HFile untuk HBase untuk memperluas kapasitas penyimpanannya.
OssFileSystem	Menambahkan logika ke OssFileSystem untuk mendeteksi disk rusak secara otomatis. Hal ini memperbaiki masalah di mana penulisan cache gagal selama penulisan OSS karena disk rusak. Menyelesaikan konfigurasi terkait untuk OssFileSystem.
Bigboot	Ditingkatkan ke versi 2.0.0. Mencakup beberapa pembaruan besar, seperti dukungan untuk beberapa Namespace, penyimpanan blok data lokal sebagai file besar, penyimpanan multi-mode, dan klien eksternal. Memperbaiki masalah di mana status monitor Bigboot salah selama restart mesin. Menambahkan spesifikasi layanan untuk komponen Kudu. Menambahkan pemeriksaan kebenaran untuk semua spesifikasi layanan.
Hadoop	HDFS Diadaptasi untuk HDFS Federation. Anda sekarang dapat membuat kluster HDFS Federation menggunakan konfigurasi kustom dan API. Hal ini menghindari kebutuhan untuk operasi format kedua saat membuat kluster Federation. Logika deteksi disk rusak dioptimalkan. Untuk skenario disk lokal, Anda dapat memicu deteksi disk rusak saat laporan blok DataNode dipicu oleh dfsadmin. YARN Memperbaiki masalah di mana daftar pekerjaan MapReduce JobHistory tidak diperbarui saat log Container pekerjaan MapReduce disimpan di JindoFS atau OSS.
Spark	Relational Cache Menambahkan dukungan untuk Relational Cache. Relational Cache menggunakan pra-komputasi untuk mempercepat query pengguna. Anda dapat membuat Relational Cache untuk pra-komputasi data. Saat query pengguna dieksekusi, Optimizer Spark secara otomatis menemukan cache yang sesuai, menulis ulang rencana eksekusi SQL, dan melanjutkan komputasi berdasarkan data yang di-cache. Hal ini meningkatkan kecepatan query. Fitur ini cocok untuk skenario seperti laporan, dasbor, sinkronisasi data, dan analisis multidimensi. Gunakan Data Definition Language (DDL) untuk melakukan operasi seperti CACHE, UNCACHE, ALTER, dan SHOW. Data yang di-cache mendukung semua sumber data Spark dan format data. Mendukung pembaruan data cache otomatis dan pembaruan menggunakan perintah REFRESH. Mendukung pembaruan inkremental berdasarkan partisi. Mendukung optimasi rencana eksekusi berdasarkan Relational Cache. Streaming SQL Standarisasi konfigurasi parameter untuk Stream Query Writer. Mengoptimalkan pemeriksaan kompatibilitas skema untuk tabel data Kafka. Jika skema tabel data Kafka tidak ada, skema tersebut secara otomatis dibuat di SchemaRegistry. Mengoptimalkan informasi log untuk saat skema Kafka tidak kompatibel. Memperbaiki masalah di mana nama kolom harus secara eksplisit ditentukan saat menulis hasil query ke tabel Kafka. Menghapus batasan bahwa query SQL streaming hanya mendukung sumber data Kafka dan Loghub. Delta Menambahkan Delta. Anda dapat menggunakan Spark untuk membuat sumber data Delta untuk mendukung skenario seperti penulisan data streaming, pembacaan dan penulisan transaksional, validasi data, dan riwayat data. Untuk informasi lebih lanjut, lihat Detail Delta. Mendukung penggunaan API DataFrame untuk membaca atau menulis data ke Delta. Mendukung penggunaan API Structured Streaming untuk membaca dari atau menulis ke Delta sebagai sumber atau sink. Mendukung penggunaan API Delta untuk melakukan operasi seperti update, delete, merge, vacuum, dan optimize. Mendukung penggunaan SQL untuk melakukan operasi seperti membuat tabel berbasis Delta, mengimpor data ke Delta, dan membaca dari tabel Delta. Lainnya Menambahkan fitur batasan yang mendukung kunci primer dan kunci asing. Menyelesaikan konflik file JAR, seperti untuk servlet.
Flink	Rollback log Log4j
Kafka	Rollback log untuk Log4j. fastjson ditingkatkan.
Zeppelin	Paket commons-lang3 dependen ditingkatkan ke versi 3.7. Hal ini memperbaiki masalah di mana PySpark tidak dapat menulis ke OSS. Untuk informasi lebih lanjut, lihat Ketidakcocokan Spark 2.4 dengan commons-lang3 di Zeppelin.
Ranger	Menambahkan dukungan untuk SHOW GRANTS.
Analytics-Zoo	Memperbaiki kesalahan instalasi NumPy.
Impala	Sekarang kompatibel dengan Apache Kudu 1.10.0.
Presto	Ditingkatkan ke versi 0.221.
ZooKeeper	Ditingkatkan ke versi 3.5.5.

Versi sebelum EMR-3.22.x

EMR-3.1.1

Sistem operasi (OS) ditingkatkan ke CentOS 7.2.
Spark ditingkatkan ke versi 2.1.1.
emr-core ditingkatkan ke versi 1.2.6.
Memperbaiki bug terkait operasi tanpa AccessKey untuk OSS.

EMR-3.0.2

emr-core ditingkatkan ke versi 1.2.5.
Dukungan tanpa AccessKey untuk OSS diperluas ke lebih banyak wilayah.
Kebijakan penggantian AccessKey berbasis peran disesuaikan.
Memperbaiki beberapa bug di Hive dan Hadoop.

EMR-3.0.1

Menambahkan dukungan untuk mode interaktif dan manajemen tabel terpadu. Anda kini dapat menyimpan metadata Hive di database eksternal, sehingga memungkinkan beberapa kluster berbagi metadata yang sama.
emr-core ditingkatkan ke versi 1.2.4, yang mengoptimalkan kinerja baca dan tulis Object Storage Service (OSS).
Spark ditingkatkan ke versi 2.0.2.

Catatan

Versi ini sepenuhnya kompatibel dengan EMR-3.0.0.

EMR-3.0.0

Rilis awal.