Dokumen ini menjelaskan layanan Alibaba Cloud Data Lake Formation (DLF), yang digunakan untuk menyimpan metadata kluster E-MapReduce (EMR). Dokumen ini juga menjelaskan cara mengubah tipe penyimpanan metadata kluster EMR.
Informasi latar belakang
DLF adalah layanan yang sepenuhnya dikelola oleh Alibaba Cloud, dirancang untuk membantu Anda membangun dan mengelola data lake berbasis cloud-native dengan mudah. DLF memungkinkan pengelolaan metadata dan izin pengguna secara terpusat, menyalurkan data ke data lake dengan lancar, serta menjelajahi data hanya dengan beberapa klik. Untuk informasi lebih lanjut, lihat Ikhtisar.
DLF juga memungkinkan integrasi data lake berbasis cloud-native dengan berbagai mesin komputasi, sehingga menghilangkan silo data dan memberikan wawasan bisnis dari data.
Prasyarat
Layanan DLF harus diaktifkan di konsol DLF.
Batasan
- DLF kompatibel dengan Hive 2.x, Hive 3.x, Presto, dan Spark SQL di EMR.
- Anda dapat menentukan DLF sebagai metadatabase Hive hanya untuk kluster di EMR V3.33.0 atau versi minor yang lebih baru, atau di EMR V4.5.0 atau versi minor yang lebih baru.
Ubah tipe penyimpanan metadata
- Buka halaman layanan Hive.
- Di bilah navigasi atas, pilih wilayah tempat kluster Anda berada dan pilih grup sumber daya sesuai kebutuhan bisnis Anda.
- Di halaman EMR on ECS, temukan kluster yang diinginkan dan klik Services di kolom Tindakan.
- Di tab Layanan, temukan layanan Hive dan klik Configure.
- Di tab Konfigurasi, masukkan parameter hive.imetastoreclient.factory.class di kotak pencarian dan klik ikon
.- Gunakan database MySQL bawaan, metadatabase terpadu, atau database ApsaraDB RDS for MySQL yang dikelola sendiri sebagai metadatabase:
Atur nilai parameter hive.imetastoreclient.factory.class menjadi org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClientFactory.
- Gunakan DLF untuk penyimpanan metadata terpadu:
Atur nilai parameter hive.imetastoreclient.factory.class menjadi com.aliyun.datalake.metastore.hive2.DlfMetaStoreClientFactory.
- Gunakan database MySQL bawaan, metadatabase terpadu, atau database ApsaraDB RDS for MySQL yang dikelola sendiri sebagai metadatabase:
- Simpan konfigurasi.
- Di pojok kiri bawah tab Configure, klik Save.
- Di kotak dialog Save, konfigurasikan parameter Alasan Eksekusi dan klik Save.
- Mulai ulang layanan Hive.
- Di pojok kanan atas halaman layanan Hive, pilih .
- Di kotak dialog Mulai Ulang Layanan HIVE, konfigurasikan parameter Execution Reason dan klik OK.
- Di pesan Confirm, klik OK.Untuk melihat kemajuan tugas, klik Operation History di pojok kanan atas.