Data Lake Formation:Praktik terbaik untuk migrasi metadata EMR ke DLF

Prasyarat

Sebelum memulai, pastikan Anda telah memiliki:

• Kluster EMR (V3.33+, V4.6+, atau V5.1+) dengan metadata yang disimpan di database ApsaraDB RDS yang dikelola sendiri atau database MySQL bawaan

• Database Hive di kluster EMR. Untuk petunjuknya, lihat Gunakan Hive untuk melakukan operasi dasar. Contoh ini menggunakan database bernama testdb2.

• Izin akses remote yang telah dikonfigurasi pada database sumber (lihat di bawah)

Konfigurasikan izin akses remote

Login ke database ApsaraDB RDS atau MySQL dan jalankan pernyataan berikut. Contoh ini memberikan izin kepada pengguna root pada database testdb. Ganti xxxx dengan password yang sebenarnya.

CREATE USER 'root'@'%' IDENTIFIED BY 'xxxx';
GRANT ALL PRIVILEGES ON testdb.* TO 'root'@'%' WITH GRANT OPTION;
FLUSH PRIVILEGES;

Untuk ApsaraDB RDS, Anda juga dapat melihat dan memperbarui izin akses langsung di Konsol. Untuk petunjuknya, lihat Ubah izin akun.

Buat tugas migrasi

1. Login ke Konsol DLF.

2. Pilih wilayah tempat kluster EMR Anda berada.

3. Di panel navigasi kiri, pilih Metadata > Migrate Metadata.

4. Di tab Migration Task, klik Create Cloud Migration Task.

5. Konfigurasikan parameter koneksi sumber dan klik Next. Untuk detail parameter, lihat Buat tugas migrasi metadata.

   

6. Konfigurasikan detail tugas migrasi dan klik Next. Contoh ini memberi nama tugas test_rds.

   

7. Tinjau konfigurasi tugas dan klik OK.

Jalankan tugas migrasi

Di tab Migration Task, temukan tugas bernama test_rds dan klik Run di kolom Actions. Saat tugas berhasil diselesaikan, statusnya akan berubah menjadi Succeeded.

Lihat catatan eksekusi dan log

1. Di tab Migration Task, klik Running Record di kolom Actions untuk melihat riwayat eksekusi.

   

2. Di tab Execution History, klik View Logs di kolom Actions untuk melihat detail log.

Verifikasi migrasi metadata

1. Di panel navigasi kiri, pilih Metadata > Metadata.

2. Klik tab Database, pilih katalog Anda dari daftar drop-down Catalog List, masukkan nama database Anda di bidang Database Name, lalu tekan Enter. Jika database muncul dalam hasil, berarti metadata telah berhasil dimigrasikan.

Hive

Di hive-site.xml, tambahkan atau perbarui item konfigurasi berikut, lalu simpan dan terapkan perubahan tersebut. Untuk petunjuk mengubah item konfigurasi, lihat Ubah item konfigurasi.

<!-- Titik akhir layanan metadata DLF. Ganti {regionId} dengan ID wilayah kluster Anda, misalnya cn-hangzhou. -->
dlf.catalog.endpoint=dlf-vpc.{regionId}.aliyuncs.com
<!-- Setelah menempelkan, pastikan tidak ada spasi tambahan yang tersisip. -->
hive.imetastoreclient.factory.class=com.aliyun.datalake.metastore.hive2.DlfMetaStoreClientFactory
dlf.catalog.akMode=EMR_AUTO
dlf.catalog.proxyMode=DLF_ONLY

<!-- Diperlukan untuk Hive 3 -->
hive.notification.event.poll.interval=0s
<!-- Diperlukan untuk versi EMR sebelum V3.33 atau V4.6.0 -->
dlf.catalog.sts.isNewMode=false

Presto

Di hive.properties, tambahkan item konfigurasi berikut, lalu simpan dan terapkan perubahan tersebut. Untuk petunjuknya, lihat Tambahkan item konfigurasi.

hive.metastore=dlf
<!-- Titik akhir layanan metadata DLF. Ganti {regionId} dengan ID wilayah kluster Anda, misalnya cn-hangzhou. -->
dlf.catalog.endpoint=dlf-vpc.{regionId}.aliyuncs.com
dlf.catalog.akMode=EMR_AUTO
dlf.catalog.proxyMode=DLF_ONLY

<!-- Atur nilai ini sesuai dengan nilai hive.metastore.warehouse.dir di hive-site.xml. -->
dlf.catalog.default-warehouse-dir=

<!-- Diperlukan untuk versi EMR sebelum V3.33 atau V4.6.0 -->
dlf.catalog.sts.isNewMode=false

Spark

Di tab Configure halaman layanan Spark, klik Deploy Client Configuration dan ikuti petunjuknya. Lalu restart Spark.

Impala

Di tab Configure halaman layanan Impala, klik Deploy Client Configuration dan ikuti petunjuknya. Lalu restart Impala.

Verifikasi perubahan penyimpanan metadata

Langkah-langkah berikut menggunakan Hive. Verifikasi yang sama berlaku untuk mesin lainnya.

1. Login ke kluster melalui SSH. Untuk petunjuknya, lihat Login ke kluster.

2. Buka CLI Hive:

   hive

3. Buat database uji:

   CREATE database if NOT EXISTS dlf_test_db;

   Jika output berisi OK, berarti database berhasil dibuat.

4. Login ke Konsol DLF.

5. Di panel navigasi kiri, pilih Metadata > Metadata.

6. Klik tab Database, pilih katalog Anda dari daftar drop-down Catalog List, masukkan dlf_test_db di bidang Database Name, lalu tekan Enter. Jika dlf_test_db muncul dalam hasil, berarti penyimpanan metadata untuk Hive telah berubah. Jika tidak, berarti perubahan penyimpanan metadata untuk Hive gagal.