All Products
Search

This Product

    MaxCompute:Ikhtisar Migration Service (MMS)

    Document Center

    MaxCompute:Ikhtisar Migration Service (MMS)

    Last Updated:Jul 25, 2026

    MaxCompute Migration Service (MMS) memigrasikan data dari berbagai sumber data ke MaxCompute. Layanan ini terintegrasi dengan mesin Spark MaxCompute untuk menyederhanakan migrasi data skala besar dari sumber data yang dikelola sendiri, sehingga mengurangi kompleksitas konfigurasi serta biaya operasi dan pemeliharaan (O&M).

    Ikhtisar

    Arsitektur

    MaxCompute Migration Service (MMS) memigrasikan metadata maupun data.

    • Migrasi metadata: MMS mengambil metadata dari sumber data menggunakan API metadata, seperti Hive Metastore SDK dan Databricks SDK. Layanan ini kemudian menghasilkan pernyataan Data Definition Language (DDL) MaxCompute dan mengeksekusinya di MaxCompute untuk menyelesaikan migrasi metadata.

    • Migrasi data: Setelah metadata disinkronkan, MMS menghasilkan dan mengirimkan satu atau beberapa job Spark yang berjalan di MaxCompute berdasarkan konfigurasi job migrasi. Job Spark tersebut menarik data dari sumber data dan menuliskannya ke tabel target di MaxCompute. Proses ini dikelola oleh layanan MMS, sehingga menghilangkan kebutuhan pengembangan dan O&M job Spark.

    Alur migrasi

    Gambar berikut menggambarkan alur kerja MaxCompute Migration Service (MMS). Proses ini mencakup langkah-langkah inti berikut:

    1. Memuat metadata: Setelah Anda membuat job migrasi, MMS terhubung ke sumber data eksternal untuk membaca dan memuat metadata, seperti skema tabel dan informasi partisi. MMS kemudian menyimpan metadata tersebut di database internalnya untuk digunakan nanti.

    2. Membuat job migrasi: MMS mendukung tiga jenis job migrasi—migrasi database penuh, migrasi sebagian tabel, dan migrasi sebagian partisi. Setiap job migrasi dibagi menjadi beberapa subtugas yang berjalan secara konkuren untuk memigrasikan data.

    3. Transfer data dan metadata: Setiap subtugas konkuren secara independen menarik data dari sumber data. Subtugas tersebut pertama-tama membuat tabel atau partisi target yang sesuai di proyek tujuan, lalu menuliskan datanya.

    4. Verifikasi data (opsional): Setelah data dimigrasikan, MMS dapat melakukan verifikasi data untuk memastikan integritas data dengan membandingkan jumlah baris di tabel atau partisi sumber dan tujuan.

    Glosarium

    • Sumber data

      • Objek yang akan dimigrasikan, seperti satu atau beberapa database Hive. Sumber data yang berbeda memiliki lapisan data yang berbeda. MMS memetakan lapisan data dari berbagai sumber data ke tiga lapisan: Database, Schema, dan Table. Skema merupakan properti dari tabel. Tabel berikut menjelaskan lapisan data tersebut.

        Sumber data

        Lapisan data

        Hive

        Database.Table

        MaxCompute

        Project.Schema.Table atau Project.Table

      • Tabel berikut menjelaskan cara data dibaca dari berbagai sumber data:

        Jenis sumber data

        Layanan/API penyimpanan data

        Mesin komputasi

        MaxCompute

        Storage API

        • Spark

        • SQL

        BigQuery

        Storage Read API

        Spark

        Hive

        • HDFS

        • S3

        • OSS

        Databricks

        • Azure BLOB Storage

        • Databricks JDBC

    • Pekerjaan Migrasi

      Job migrasi mendefinisikan objek yang akan dimigrasikan, yang dapat berupa database, beberapa tabel, atau beberapa partisi.

    • Tugas migrasi

      Setelah Anda memilih objek yang akan dimigrasikan dan mengirimkan job migrasi, MMS membagi job tersebut menjadi beberapa tugas migrasi independen berdasarkan konfigurasi. Tugas migrasi merupakan unit eksekusi aktual. Jenis tugas meliputi job Spark dan SQL. Setiap tugas dapat berkorespondensi dengan tabel non-partisi atau beberapa partisi dari tabel partisi. Proses eksekusi tugas mencakup migrasi metadata, migrasi data, dan validasi data.

    • Validasi data

      Setelah migrasi data selesai, MMS melakukan verifikasi untuk memastikan konsistensi data. Metode verifikasi dilakukan dengan mengeksekusi SELECT COUNT(*) pada sumber dan tujuan untuk membandingkan jumlah baris dalam tabel atau partisi. Hal ini memverifikasi integritas data. Hasil verifikasi dicatat dalam log tugas.

    Langkah migrasi

    • Langkah 1: Selesaikan persiapan sebelum menggunakan MaxCompute Migration Service (MMS).

    • Langkah 2: Siapkan sumber data yang akan dimigrasikan. Untuk informasi lebih lanjut tentang cara mengonfigurasi berbagai sumber data, lihat Kelola Sumber Data.

    • Langkah 3: Buat dan jalankan job migrasi.

    • Langkah 4: Gunakan fitur pemantauan migrasi MMS untuk melihat progres dan kecepatan job migrasi.

    FAQ

    Biaya apa saja yang dikenakan saat saya menggunakan MMS untuk migrasi data?

    MaxCompute Migration Service (MMS) tidak dikenai biaya. Biaya berikut dikenakan selama proses migrasi data:

    • Biaya resource komputasi di tujuan: MMS mengirimkan job Spark atau SQL di proyek MaxCompute untuk melakukan migrasi data. Job tersebut mengonsumsi MaxCompute computing units (CUs) dan ditagih berdasarkan standar penagihan MaxCompute. Metode penagihan yang didukung adalah pay-as-you-go dan subscription.

    • Biaya lalu lintas jaringan: Koneksi jaringan diperlukan selama migrasi data, sehingga menimbulkan biaya lalu lintas jaringan.

    • Biaya pembacaan data di sumber: Selama migrasi data, MMS memanggil API pengambilan data dari sumber untuk membaca data. Hal ini dapat menimbulkan biaya pembacaan data dari sumber, sesuai aturan penagihannya.

    Bagaimana cara memilih antara MMS dan DataWorks Data Integration untuk migrasi data?

    • MMS: MMS cocok untuk migrasi data satu kali dalam batch besar.

    • DataWorks Data Integration: Layanan ini cocok untuk sinkronisasi dan integrasi data terjadwal serta berkelanjutan. Layanan ini juga mendukung berbagai jenis sumber data.