Di Alibaba Cloud E-MapReduce (EMR), Anda dapat memilih tipe penyimpanan metadata—seperti Data Lake Formation (DLF) atau ApsaraDB RDS—saat membuat kluster, serta mengubahnya setelah kluster dibuat. Topik ini memperkenalkan Data Lake Formation dan menjelaskan cara mengganti tipe penyimpanan metadata untuk kluster EMR.
Informasi latar belakang
DLF adalah layanan yang sepenuhnya dikelola yang dikembangkan oleh Alibaba Cloud untuk membantu Anda dengan mudah membangun dan mengelola data lake cloud-native. DLF memungkinkan Anda mengelola metadata dan izin pengguna secara terpusat, memasukkan data ke dalam data lake dengan mudah, serta menjelajahi data di data lake hanya dengan beberapa klik. Untuk informasi selengkapnya, lihat Ikhtisar.
DLF juga memungkinkan Anda menghubungkan data lake cloud-native ke berbagai mesin komputasi sehingga Anda dapat menghilangkan silodata dan memperoleh wawasan mengenai nilai bisnis dari data tersebut.
Prasyarat
Layanan DLF telah diaktifkan di Konsol DLF.
Batasan
-
Penyimpanan metadata terpadu DLF kompatibel dengan Hive 2.x, Hive 3.x, Presto, dan Spark SQL di EMR.
-
Hanya EMR versi 3.30.0 atau lebih baru dan EMR versi 4.5.0 atau lebih baru yang mendukung penyimpanan metadata terpadu DLF sebagai database Hive.
Prosedur
-
Buka halaman layanan Hive.
-
Masuk ke Konsol E-MapReduce.
-
Di bilah navigasi atas, pilih wilayah dan kelompok sumber daya sesuai kebutuhan bisnis Anda.
-
Di halaman EMR on ECS, temukan kluster target lalu klik Services di kolom Actions.
-
Di bagian layanan Hive, klik Configure.
-
-
Di kotak pencarian konfigurasi, masukkan nama parameter
hive.imetastoreclient.factory.classlalu klik ikon
.-
Untuk beralih ke metastore MySQL (termasuk MySQL bawaan, metadatabase terpadu, dan RDS yang dikelola sendiri):
Atur hive.imetastoreclient.factory.class menjadi
org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClientFactory. -
Untuk beralih ke penyimpanan metadata terpadu DLF:
Atur hive.imetastoreclient.factory.class menjadi
com.aliyun.datalake.metastore.hive2.DlfMetaStoreClientFactory.
-
-
Simpan konfigurasi.
-
Di bagian Service Configuration pada halaman layanan Hive, klik Save.
-
Pada kotak dialog yang muncul, masukkan alasan eksekusi lalu klik Save.
-
-
Restart layanan Hive.
-
Di halaman layanan Hive, pilih di pojok kanan atas.
-
Pada kotak dialog yang muncul, masukkan Execution Reason lalu klik OK.
-
Pada kotak dialog Confirm, klik OK.
Anda dapat mengklik Operation History di bagian atas halaman untuk melihat progres tugas dan menunggu hingga tugas selesai.
-