E-MapReduce (EMR) mendukung migrasi metadata Hive yang disimpan dalam tipe penyimpanan lama—Built-in MySQL atau Unified Metabases—ke Data Lake Formation (DLF). Pada tahun 2020, Alibaba Cloud EMR meluncurkan DLF Unified Metadata sebagai tipe penyimpanan baru untuk menyediakan layanan metadata terpadu yang lebih baik. Dokumen ini mencakup kapan harus melakukan migrasi, apa yang disediakan DLF, dan bagaimana proses migrasi empat fase tersebut berjalan.
Kapan harus migrasi
Lakukan migrasi ke DLF jika salah satu kondisi berikut berlaku untuk kluster Anda:
Kluster Anda menggunakan Built-in MySQL. Database MySQL on-premises berjalan dalam mode standalone, sehingga tidak menjamin high availability dan rentan terhadap gangguan layanan.
Kluster Anda menggunakan Unified Metabases. Tipe penyimpanan ini secara bertahap akan dihentikan. Kluster harus beralih ke DLF Unified Metadata, yang tersedia di Konsol EMR baru.
Kluster Anda menggunakan ApsaraDB RDS. Migrasi bersifat opsional, tetapi memberikan kinerja penyimpanan dan skalabilitas yang lebih baik.
Mengapa DLF
DLF adalah layanan metadata fully managed, highly available, dan berkinerja tinggi. Layanan ini kompatibel dengan berbagai versi Hive metastore serta terintegrasi dengan compute engine open-source di EMR. Kemampuan yang disediakan meliputi:
Data profiling, eksplorasi data, dan pengelolaan data lake
Pengelolaan izin data
Integrasi dengan MaxCompute, Databricks DataInsight (DDI), dan Hologres
Untuk informasi selengkapnya, lihat Ikhtisar DLF.
Proses migrasi
Tim Alibaba Cloud EMR dan DLF mendukung seluruh proses migrasi. Tabel berikut menjelaskan setiap fase, langkah-langkah yang terlibat, serta durasi perkiraannya.
Selama migrasi (Fase 2), semua task kluster harus dihentikan sementara. Rencanakan downtime task sekitar 30 menit.
| Fase | Langkah | Partisipan | Durasi perkiraan |
|---|---|---|---|
| 1. Persiapan |
| Tim EMR + Anda | 2 jam |
| 2. Migrasi | 1. Hentikan sementara task yang sedang berjalan dan hentikan layanan metadata. 2. Backup metadata yang ada. 3. Migrasikan metadata ke DLF menggunakan fitur migrasi metadata, lalu periksa apakah migrasi berjalan sesuai harapan. 4. Atur parameter Type menjadi DLF Unified Metadata. 5. Lanjutkan kembali task yang dihentikan sementara. | Tim EMR + Anda | 30 menit |
| 3. Pemeriksaan | Amati eksekusi task selama minimal satu minggu. Jika task berjalan sesuai harapan, migrasi dianggap selesai. Jika terjadi masalah, tentukan apakah akan diperbaiki secara online atau memulai rollback (lihat Fase 4). | Tim EMR + Anda | 1 minggu |
| 4. Rollback (opsional) | 1. Hentikan sementara task yang sedang berjalan. 2. Bandingkan metadata antara DLF dan Hive metastore; tulis kembali data inkremental ke Hive metastore. 3. Atur parameter Type menjadi Unified Metabases. 4. Jalankan kembali Hive metastore. 5. Lanjutkan task yang dihentikan sementara dan verifikasi hasilnya. | Tim EMR + Anda | 30 menit |
Dapatkan dukungan
Untuk memulai migrasi, bergabunglah ke grup DingTalk dengan mencari nomor grup 33719678. Insinyur akan menghubungi Anda untuk merencanakan migrasi bersama.