Topik ini menjelaskan layanan data besar yang didukung di setiap versi E-MapReduce (EMR). Anda dapat memilih versi sesuai dengan kebutuhan bisnis Anda.
Pengenalan versi
Versi EMR mengikuti format EMR-a.b.c, dengan penjelasan sebagai berikut:
a: menunjukkan evolusi besar dalam arsitektur teknis atau ekosistem inti. Saat ini, seri EMR V5.x dan seri EMR V3.x didukung.
b: menunjukkan bahwa satu atau lebih layanan telah diperbarui.
c: menunjukkan bahwa bug kompatibilitas telah diperbaiki.
Layanan yang didukung di setiap versi EMR
Catatan Versi setiap layanan dalam kluster EMR biasanya sama dengan versi sumber terbuka yang sesuai.
Setiap versi EMR dilengkapi dengan versi layanan tetap pra-instal. Kami merekomendasikan agar Anda tidak mengubah versi layanan tersebut. Selain itu, layanan dalam kluster EMR tidak dapat ditingkatkan. Anda harus memilih kluster berdasarkan kebutuhan Anda untuk versi layanan tertentu.
Saat membuat kluster, hanya satu versi yang tersedia untuk setiap layanan. Jika Anda perlu menggunakan beberapa versi layanan, seperti Spark 2 dan Spark 3, Anda dapat menginstal versi yang diperlukan setelah membuat kluster dan mengevaluasi kompatibilitas serta risiko keamanan.
Dalam tabel berikut, tanda hubung (-) menunjukkan bahwa layanan tersebut tidak terintegrasi dalam versi EMR.
Seri EMR V5.x (berdasarkan Hadoop 3.x dan Hive 3.x)
EMR V5.19.X dan yang lebih baru
EMR V5.18.X dan sebelumnya
Layanan | EMR V5.18.X | EMR V5.17.X | EMR V5.16.X | EMR V5.15.X | EMR V5.14.X | EMR V5.13.X | EMR V5.12.X | EMR V5.11.X |
Hadoop-Common | 3.2.1 | 3.2.1 | 3.2.1 | 3.2.1 | 3.2.1 | 3.2.1 | 3.2.1 | 3.2.1 |
HDFS | 3.2.1 | 3.2.1 | 3.2.1 | 3.2.1 | 3.2.1 | 3.2.1 | 3.2.1 | 3.2.1 |
OSS-HDFS | 1.0.0 | 1.0.0 | 1.0.0 | 1.0.0 | 1.0.0 | 1.0.0 | EMR V5.12.2: 1.0.0 EMR V5.12.0: -
| - |
YARN | 3.2.1 | 3.2.1 | 3.2.1 | 3.2.1 | 3.2.1 | 3.2.1 | 3.2.1 | 3.2.1 |
Hive | 3.1.3 | 3.1.3 | 3.1.3 | 3.1.3 | 3.1.3 | 3.1.3 | 3.1.3 | 3.1.3 |
Spark 2 | 2.4.8 | 2.4.8 | 2.4.8 | 2.4.8 | 2.4.8 | 2.4.8 | 2.4.8 | 2.4.8 |
Spark 3 | 3.5.3 | 3.4.2 | 3.3.1 | 3.3.1 | 3.3.1 | 3.3.1 | 3.3.1 | 3.3.1 |
Tez | 0.10.2 | 0.10.2 | 0.10.2 | 0.10.2 | 0.10.2 | 0.10.2 | 0.10.2 | 0.10.2 |
Trino | 422 | 422 | 422 | 422 | 422 | 422 | 389 | 389 |
Delta Lake | - | 3.0.0 | 2.2.0 | 2.2.0 | 2.2.0 | 2.2.0 | 2.2.0 | 2.2.0 |
Hudi | 0.15.0 | 0.14.0 | 0.14.0 | 0.13.1 | 0.13.1 | 0.13.1 | 0.12.2 | 0.12.2 |
Iceberg | 1.5.0 | 1.5.0 | 1.1.0 | 1.1.0 | 1.1.0 | 1.1.0 | 1.1.0 | 1.1.0 |
JindoData | - | - | - | - | 4.6.11 | 4.6.11 | 4.6.5 | EMR V5.11.1: 4.6.5 EMR V5.11.0: 4.6.4
|
Flume | 1.11.0 | 1.11.0 | 1.11.0 | 1.9.0 | 1.9.0 | 1.9.0 | 1.9.0 | 1.9.0 |
Kyuubi | 1.9.2 | 1.7.3 | 1.7.3 | 1.7.1 | 1.7.1 | 1.7.1 | 1.7.1 | 1.6.1 |
Knox | 1.5.0 | 1.5.0 | 1.5.0 | 1.5.0 | 1.5.0 | 1.5.0 | 1.5.0 | 1.5.0 |
Impala | - | 4.3.0 | 4.3.0 | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 | 4.2.0 |
OpenLDAP | 2.4.46 | 2.4.46 | 2.4.46 | 2.4.46 | 2.4.46 | 2.4.46 | 2.4.46 | 2.4.46 |
Ranger | 2.3.0 | 2.3.0 | 2.3.0 | 2.3.0 | 2.3.0 | 2.3.0 | 2.3.0 | 2.3.0 |
Ranger-plugin | 1.0.0 | 1.0.0 | 1.0.0 | 1.0.0 | 1.0.0 | 1.0.0 | 1.0.0 | 1.0.0 |
Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
DLF-Auth | 2.0.2 | 2.0.2 | 2.0.2 | 2.0.2 | 2.0.2 | 2.0.2 | 2.0.2 | 2.0.2 |
Presto | 0.283 | 0.283 | 0.283 | 0.283 | 0.283 | 0.278.3 | 0.278.3 | 0.278.3 |
StarRocks 2 | 2.5.22 | 2.5.22 | 2.5.13 | 2.5.12 | 2.5.12 | 2.5.8 | 2.5.5 | 2.5.1 |
StarRocks 3 | 3.2.11 | 3.2.11 | 3.1.5 | 3.1.2 | 3.1.2 | - | - | - |
ZooKeeper | 3.8.4 | 3.8.4 | 3.6.3 | 3.6.3 | 3.6.3 | 3.6.3 | 3.6.3 | 3.6.3 |
Celeborn | 0.5.2 | 0.4.0 | 0.3.2 | 0.3.1 | 0.3.0 | 0.2.2 | 0.2.2 | 0.2.0 |
Flink | 1.17.2 | 1.17.2 | 1.15_vvr_6.0.4 | 1.15_vvr_6.0.4 | 1.15_vvr_6.0.4 | 1.15_vvr_6.0.4 | 1.15_vvr_6.0.4 | 1.15_vvr_6.0.4 |
Flink Table Store | - | - | - | - | - | - | - | EMR V5.11.1: 0.3-ali-2 EMR V5.11.0: 0.3-ali
|
HBase | 2.4.9 | 2.4.9 | 2.4.9 | 2.4.9 | 2.4.9 | 2.4.9 | 2.4.9 | 2.4.9 |
JindoCache | 6.5.3 | 6.5.3 | 6.2.0 | 6.1.1 | - | - | - | - |
Kudu | - | 1.16.0 | 1.16.0 | 1.16.0 | 1.16.0 | 1.16.0 | 1.16.0 | 1.16.0 |
Paimon | 1.0-ali-1 | 0.9-ali-7 | 0.7-ali-1 | 0.6-ali-2 | 0.5-ali-1 | 0.5-ali-1 | 0.4-ali-1 | - |
Phoenix | 5.1.2 | 5.1.2 | 5.1.2 | 5.1.2 | 5.1.2 | 5.1.2 | 5.1.2 | 5.1.2 |
ClickHouse | 23.3.13.6 | 23.3.13.6 | 23.3.13.6 | 23.3.13.6 | 23.3.2.37 | 23.3.2.37 | 23.3.2.37 | 22.8.14.53 |
Doris | 2.1.4 | 2.1.4 | 1.2.7 | 1.2.7 | 1.2.4 | 1.2.4 | 1.2.4 | 1.2.1 |
Kafka | - | 2.13_3.6.1 | 2.13_3.6.1 | 2.13_3.6.1 | - | 2.13_3.2.1 | 2.13_3.2.1 | 2.13_3.2.1 |
Kafka Manager | - | 3.0.0.6 | 3.0.0.6 | 3.0.0.6 | - | 3.0.0.6 | 3.0.0.6 | 3.0.0.6 |
EMR V5.10.X dan sebelumnya
Seri EMR V3.x (berdasarkan Hadoop 2.x dan Hive 2.x)
EMR V3.53.X dan yang lebih baru
EMR V3.52.X dan sebelumnya
Layanan | EMR V3.52.X | EMR V3.51.X | EMR V3.50.X | EMR V3.49.X | EMR V3.48.X | EMR V3.47.X | EMR V3.46.X | EMR V3.45.X |
Hadoop-Common | 2.8.5 | 2.8.5 | 2.8.5 | 2.8.5 | 2.8.5 | 2.8.5 | 2.8.5 | 2.8.5 |
HDFS | 2.8.5 | 2.8.5 | 2.8.5 | 2.8.5 | 2.8.5 | 2.8.5 | 2.8.5 | 2.8.5 |
OSS-HDFS | 1.0.0 | 1.0.0 | 1.0.0 | 1.0.0 | 1.0.0 | 1.0.0 | EMR V3.46.2: 1.0.0 EMR V3.46.0: -
| - |
Hive | 2.3.9 | 2.3.9 | 2.3.9 | 2.3.9 | 2.3.9 | 2.3.9 | 2.3.9 | 2.3.9 |
Spark 2 | 2.4.8 | 2.4.8 | 2.4.8 | 2.4.8 | 2.4.8 | 2.4.8 | 2.4.8 | 2.4.8 |
Spark 3 | 3.4.2 | 3.4.2 | 3.3.1 | 3.3.1 | 3.3.1 | 3.3.1 | 3.3.1 | 3.3.1 |
YARN | 2.8.5 | 2.8.5 | 2.8.5 | 2.8.5 | 2.8.5 | 2.8.5 | 2.8.5 | 2.8.5 |
Trino | 422 | 422 | 422 | 422 | 422 | 422 | 389 | 389 |
Delta Lake | 3.0.0 | 3.0.0 | 2.2.0 | 2.2.0 | 2.2.0 | 2.2.0 | 2.2.0 | 2.2.0 |
Hudi | 0.15.0 | 0.14.0 | 0.14.0 | 0.13.1 | 0.13.1 | 0.13.1 | 0.12.2 | 0.12.2 |
Iceberg | 1.5.0 | 1.5.0 | 1.1.0 | 1.1.0 | 1.1.0 | 1.1.0 | 1.1.0 | 1.1.0 |
Flume | 1.11.0 | 1.11.0 | 1.11.0 | 1.9.0 | 1.9.0 | 1.9.0 | 1.9.0 | 1.9.0 |
Kyuubi | 1.9.2 | 1.7.3 | 1.7.3 | 1.7.1 | 1.7.1 | 1.7.1 | 1.7.1 | 1.6.1 |
Tez | 0.10.2 | 0.10.2 | 0.10.2 | 0.10.2 | 0.10.2 | 0.10.2 | 0.10.2 | 0.10.2 |
OpenLDAP | 2.4.46 | 2.4.46 | 2.4.46 | 2.4.46 | 2.4.46 | 2.4.46 | 2.4.46 | 2.4.46 |
Ranger | 2.3.0 | 2.3.0 | 2.3.0 | 2.3.0 | 2.3.0 | 2.3.0 | 2.3.0 | 2.3.0 |
Ranger-plugin | 1.0.0 | 1.0.0 | 1.0.0 | 1.0.0 | 1.0.0 | 1.0.0 | 1.0.0 | 1.0.0 |
Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
DLF-Auth | 2.0.2 | 2.0.2 | 2.0.2 | 2.0.2 | 2.0.2 | 2.0.2 | 2.0.2 | 2.0.2 |
Presto | 0,283 | 0,283 | 0,283 | 0,283 | 0,283 | 0,283 | 0.278,3 | 0.278,3 |
StarRocks 2 | 2.5.22 | 2.5.22 | 2.5.13 | 2.5.12 | 2.5.12 | 2.5.12 | 2.5.5 | 2.4.3 |
StarRocks 3 | 3.2.11 | 3.2.11 | 3.1.5 | 3.1.2 | 3.1.2 | - | - | - |
ZooKeeper | 3.8.4 | 3.8.4 | 3.6.3 | 3.6.3 | 3.6.3 | 3.6.3 | 3.6.3 | 3.6.3 |
Knox | 1.5.0 | 1.5.0 | 1.5.0 | 1.5.0 | 1.5.0 | 1.5.0 | 1.5.0 | 1.5.0 |
Celeborn | 0.5.2 | 0.4.0 | 0.3.2 | 0.3.1 | 0.3.0 | 0.3.0 | 0.2.2 | 0.2.0 |
Flink | 1.17.2 | 1.17.2 | 1.15_vvr_6.0.4 | 1.15_vvr_6.0.4 | 1.15_vvr_6.0.4 | 1.15_vvr_6.0.4 | 1.15_vvr_6.0.4 | 1.15_vvr_6.0.4 |
Flink Table Store | - | - | - | - | - | - | - | EMR V3.45.1: 0.3-ali-2 EMR V3.45.0: 0.3-ali
|
HBase | 1.7.1 | 1.7.1 | 1.7.1 | 1.7.1 | 1.7.1 | 1.7.1 | 1.7.1 | 1.7.1 |
JindoCache | 6.5.3 | 6.5.3 | 6.2.0 | 6.1.1 | - | - | - | - |
JindoData | - | - | - | - | 4.6.11 | 4.6.11 | 4.6.5 | EMR V3.45.1: 4.6.5 EMR V3.45.0: 4.6.4
|
Kudu | - | 1.16.0 | 1.16.0 | 1.16.0 | 1.16.0 | 1.16.0 | 1.16.0 | 1.16.0 |
Paimon | 0.9-ali-7 | 0.9-ali-7 | 0.7-ali-1 | 0.6-ali-2 | 0.5-ali-1 | 0.5-ali-1 | 0.4-ali-1 | - |
Phoenix | 4.16.1 | 4.16.1 | 4.16.1 | 4.16.1 | 4.16.1 | 4.16.1 | 4.16.1 | 4.16.1 |
ClickHouse | 23.8.2.7 | 23.8.2.7 | 23.8.2.7 | 23.8.2.7 | 22.8.17.17 | 22.8.17.17 | 22.8.17.17 | 22.8.14.53 |
Doris | 2.1.4 | 2.1.4 | 1.2.7 | 1.2.7 | 1.2.4 | 1.2.4 | 1.2.4 | 1.2.1 |
Kafka | - | 2.12_2.4.1 | 2.12_2.4.1 | 2.12_2.4.1 | - | 2.12_2.4.1 | 2.12_2.4.1 | 2.12_2.4.1 |
Kafka Manager | - | 3.0.0.6 | 3.0.0.6 | 3.0.0.6 | - | 3.0.0.6 | 3.0.0.6 | 3.0.0.6 |
EMR V3.44.X dan sebelumnya