Data Lake Formation：Migrasi Metadata

Batasan

• Versi Hive yang didukung: 2.3.x, 3.1.x.

• Tipe database yang didukung: MySQL.

Buat tugas migrasi metadata

1. Masuk ke Konsol DLF.

2. Di panel navigasi sebelah kiri, klik Metadata > Metadata Migration.

3. Pada tab Migration Task, klik Create Migration Task.

4. Konfigurasikan informasi database sumber berikut, lalu klik Next.

   Parameter	Deskripsi
   Database Type	Hanya tipe MySQL yang didukung.
   Mysql Type	Pilih berdasarkan tipe metadata Hive. Aliyun RDS: RDS yang disediakan oleh situs resmi Alibaba Cloud. Untuk informasi lebih lanjut, lihat ApsaraDB RDS MySQL Edition. Anda perlu memilih RDS Instance, dan mengisi Database Name, Username, dan Password. Penting Metadata RDS hanya mendukung Alibaba Cloud VPC akses koneksi. Other Mysql: MySQL bawaan dalam kluster EMR, MySQL yang dibangun sendiri, atau database MySQL lainnya. Anda perlu mengisi JDBC URL, Username, dan Password. Penting Kami merekomendasikan agar JDBC URL diisi dengan IP intranet, dan akses melalui Alibaba Cloud VPC koneksi; jika Anda memilih Public Network Connection, isi dengan IP publik.
   Network Connection Method	Saat ini mendukung VPC Alibaba Cloud, Koneksi Jaringan Publik dua metode. Harap konfigurasikan sesuai dengan tipe MySQL pada langkah sebelumnya. Alibaba Cloud VPC: Pilih Virtual Private Cloud VPC, Vswitch dan Security Group yang sesuai dengan kluster EMR atau RDS untuk menghindari masalah jaringan. Public Network Connection: Saat memilih koneksi jaringan publik, tambahkan aturan di konsol EMR untuk membuka port 3306 (default) dari kluster EMR ke Alamat IP Elastis DLF. Catatan Untuk detail menambahkan port, lihat Kelola grup keamanan. Untuk Alamat IP Elastis DLF di setiap wilayah, lihat Tabel Perbandingan Wilayah dan Alamat IP Elastis DLF.

5. Konfigurasikan informasi tugas migrasi berikut, lalu klik Next.

   Parameter	Deskripsi
   Task Name	Masukkan nama tugas migrasi metadata.
   Task Description	Opsional, masukkan beberapa catatan tugas.
   Data Catalog	Pilih katalog data target.
   Conflict Resolution Policy	Perbarui metadata lama (direkomendasikan): Data lama tidak akan dihapus. Perbarui metadata berdasarkan metadata DLF yang ada. Bangun ulang metadata, yaitu hapus metadata DLF lama terlebih dahulu lalu buat yang baru.
   Log Storage Path	Semua log tugas migrasi akan disimpan di lokasi OSS yang ditentukan.
   Synchronization Object	Termasuk empat objek: Database, Fungsi, Tabel, dan Partisi. Secara umum, pilih semua.
   Location Replacement	Opsional, berlaku untuk kasus di mana lokasi tabel atau database perlu diganti selama migrasi. Misalnya, saat memigrasikan dari arsitektur HDFS tradisional ke arsitektur pemisahan penyimpanan dan komputasi OSS, Anda perlu mengganti jalur hdfs:// dengan jalur oss://.

6. Pastikan informasi konfigurasi tugas benar, klik Confirm, dan selesaikan pembuatan tugas.

Kelola tugas migrasi metadata

1. Klik tab Migration Task, lalu di kolom Operation dari tugas migrasi target:

   • Klik Run: Jalankan tugas migrasi metadata saat ini.

   • Klik Run Record: Lihat informasi rinci tentang pelaksanaan tugas.

   • Klik Edit: Ubah Source Database Configuration dan Migration Task Configuration.

   • Klik Delete: Hapus tugas migrasi.

   • Klik Stop: Hentikan tugas yang sedang berjalan.

2. Klik tab Execution History, lalu klik View Log di kolom Operation dari tugas target untuk melihat informasi log pelaksanaan.

   Setelah migrasi metadata selesai, Anda dapat melihat hasil sukses atau gagal dari log.

Verifikasi hasil sinkronisasi metadata

1. Di panel navigasi sebelah kiri, klik Metadata > Metadata Management.

2. Klik tab Database, pilih Data Catalog, masukkan Database Name yang disinkronkan, dan Anda dapat menanyakan informasi database terkait.

3. Klik tab Data Table, pilih Data Catalog dan Database Name, masukkan Table Name yang disinkronkan, dan Anda dapat menanyakan informasi tabel data terkait.

Praktik Terbaik

Migrasikan metadata EMR ke DLF

Referensi

Tabel Perbandingan Wilayah dan Alamat IP Elastis DLF