MaxCompute:Buat tugas migrasi

Jenis tugas migrasi

MMS mendukung jenis tugas migrasi berikut:

• Migrasi database penuh: memigrasikan satu database.

• Migrasi parsial (multiple tables): memigrasikan satu atau beberapa tabel.

• Migrasi parsial (multiple partitions): memigrasikan satu atau beberapa partisi.

Aturan migrasi

• Secara default, proyek tujuan, skema, dan nama tabel dipetakan secara otomatis. Untuk mengubah pemetaan, klik Modify di kolom Actions untuk database target, atau klik nama database untuk membuka daftar tabel lalu klik Modify untuk tabel tertentu. Aturan default:

  • Proyek tujuan: Default ke proyek yang dikonfigurasi untuk Sumber data.

  • Skema: Default ke nama database sumber.

  • Nama tabel: Default ke nama tabel sumber.

• Tugas migrasi hanya memigrasikan tabel dan partisi yang tidak berada dalam status "Completed". Lihat dan ubah status migrasi di kolom Status pada daftar tabel atau partisi.

Prosedur

Sebelum memulai, konfigurasikan Sumber data.

1. Login ke Konsol MaxCompute dan pilih Wilayah di pojok kiri atas.

2. Di panel navigasi sebelah kiri, pilih Data Transfer > Migration Service.

3. Di halaman Migration Service, klik tab Data Source.

   Di kolom Actions untuk Sumber data target, klik Migration Management untuk melihat database.

4. Di kolom Actions database target, klik Full DB Migrate atau Partial Migration, lalu konfigurasikan parameter.

   • Jika Anda memilih Full DB Migrate, Anda dapat mengonfigurasi blacklist untuk mengecualikan tabel tertentu.

   • Jika Anda memilih Partial Migration, Anda akan dibawa ke halaman database. Di tab Table List dan Partitions, pilih tabel atau partisi yang akan dimigrasikan, lalu klik Create Migration Job.

   • Anda juga dapat mengaktifkan scheduled migration. Saat diaktifkan, MMS menjalankan tugas migrasi harian sesuai jadwal yang Anda tentukan dan hanya memigrasikan tabel atau partisi dengan status "Unmigrated". Status migrasi dapat dilihat pada kolom Status di daftar tabel atau partisi.

   Catatan

   Jika Sumber data adalah MaxCompute

   • Di halaman Migration Management, klik Migrate Project Properties di pojok kanan atas untuk memigrasikan properti proyek MaxCompute.

     Ini menyalin semua parameter dari proyek sumber ke proyek tujuan.

   • Untuk memigrasikan Resources dan UDF, klik Full Migration di kolom Full DB Migrate, lalu pilih full database migration, Resource, atau UDF sebagai objek migrasi.

   Parameter

   Parameter	Wajib	Deskripsi
   Database Name	Ya	Database yang akan dimigrasikan. Diisi otomatis.
   Job name	Ya	Nama tugas migrasi.
   Data source	Ya	Sumber data saat ini. Diisi otomatis.
   Source database	Ya	Database yang akan dimigrasikan. Diisi otomatis dengan nama database saat ini.
   Destination MaxCompute Project	Ya	Pilih proyek MaxCompute tujuan. Catatan Jika Sumber data adalah BigQuery, proyek MaxCompute tujuan harus mendukung schemas.
   Destination schema	Ya	Pilih skema di proyek MaxCompute tujuan. Operasi skema. Catatan Parameter ini hanya tersedia untuk proyek yang telah mengaktifkan fitur schema.
   Table Blacklist and Whitelist	Tidak	Pilih Whitelist atau Blacklist. Whitelist: Tabel yang akan dimigrasikan. Pisahkan beberapa nama dengan koma (,). Catatan Untuk migrasi parsial (multiple tables), whitelist telah diisi sebelumnya dengan tabel yang Anda pilih. Untuk migrasi database penuh, whitelist kosong secara default. Blacklist: Tabel yang akan dikecualikan. Pisahkan beberapa nama dengan koma (,). Tidak diperlukan untuk migrasi parsial (multiple partitions).
   ETA	Tidak	Perkiraan waktu penyelesaian. MMS menggunakan nilai ini untuk memprioritaskan tugas.
   Enable Check	Tidak	Jika diaktifkan, MMS memverifikasi integritas data dengan membandingkan jumlah baris antara partisi sumber dan tujuan menggunakan SELECT COUNT(*).
   Incremental Migration	Tidak	Jika diaktifkan, tugas akan melewati partisi yang sudah dimigrasikan pada proses sebelumnya.
   Migrate Only Schemas	Tidak	Membuat struktur tabel dan partisi di proyek tujuan tanpa memigrasikan data.
   Partition Filter	Tidak	Ekspresi filter untuk partisi. Contoh: p1 >= '2022-03-04' and (p2 = 10 or p3 > 20) and p4 in ('abc', 'cde'). Ekspresi ini mendukung sintaks berikut: p1, p2, dan p3 adalah nama kolom partisi. Nilai partisi dapat berupa string atau angka. Nilai string harus diapit tanda kutip tunggal (') atau ganda ("). Nilai untuk kolom non-INT dan non-BIGINT hanya dapat ditentukan sebagai string. Operator perbandingan: >, >=, = , <, <=, <>. Operator IN didukung. Operator logika: AND dan OR. Tanda kurung () dapat digunakan untuk mengelompokkan kondisi.
   Table Name Mapping	Tidak	Nama tabel baru di proyek tujuan.
   Field Name Mapping	Tidak	Nama kolom baru di proyek tujuan.
   Other Configurations	Tidak	Pemetaan tipe tabel dalam format JSON. Contoh: { "mc.table.type": { "dataset1.table1":{"table.type":"delta","pk":["id1"]}, "dataset2.table2":{"table.type":"delta","pk":["id1","id2"]}, "dataset2.table2":{"table.type":"transactional"} } }.

5. Klik Submit untuk membuat tugas migrasi.

6. Di halaman Migration Service, klik tab Migration Job.

   Periksa status tugas migrasi. Jika tugas gagal:

   • Klik Details di kolom Actions untuk tugas yang gagal. Di halaman Migration Task List, klik Actions di kolom Log untuk tugas terkait guna melihat alasan kegagalan.

   • Klik Actions di kolom Retry untuk tugas yang gagal agar dijalankan ulang.

     Catatan

     Migrasi mencakup tiga tahap: migrasi skema, migrasi data, dan validasi data. Tugas yang gagal akan dimulai ulang dari tahap migrasi data setelah operasi Retry.