全部产品
Search

搜索本产品

    DataWorks：Sinkronisasi offline seluruh database MySQL ke StarRocks

    文档中心

    DataWorks：Sinkronisasi offline seluruh database MySQL ke StarRocks

    更新时间：Oct 29, 2025

    Data Integration mendukung sinkronisasi offline seluruh database MySQL ke StarRocks. Topik ini menjelaskan cara melakukan sinkronisasi offline satu kali untuk seluruh database MySQL ke StarRocks.

    Prasyarat

    Prosedur

    1. Pilih jenis tugas sinkronisasi

    1. Buka halaman Data Integration.

      Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih Wilayah yang diinginkan. Di panel navigasi kiri, pilih Data Integration > Data Integration. Pada halaman yang muncul, pilih ruang kerja dari daftar drop-down dan klik Go to Data Integration.

    2. Di panel navigasi kiri, klik Sync Tasks. Di bagian atas halaman, klik Create Sync Task untuk membuka halaman pembuatan tugas sinkronisasi. Konfigurasikan informasi dasar berikut:

      • Source and Destination: MySQL → StarRocks.

      • New Task Name: Masukkan nama kustom untuk tugas sinkronisasi.

      • Sync Type: Full Database Offline.

      • Sync Steps: Pilih Full Synchronization dan Incremental Synchronization.

    2. Konfigurasi jaringan dan sumber daya

    1. Di bagian Network and Resource Configuration, pilih Resource Group untuk tugas sinkronisasi. Anda dapat menetapkan sejumlah CU untuk Task Resource Usage.

    2. Untuk Source Data Source, pilih sumber data MySQL yang telah ditambahkan. Untuk Destination Data Source, pilih sumber data StarRocks yang telah ditambahkan. Lalu, klik Test Connectivity.image

    3. Pastikan kedua sumber data terhubung. Lalu, klik Next.

    3. Pilih database dan tabel untuk disinkronkan

    Di area Database dan Tabel Sumber, pilih tabel untuk disinkronkan dari sumber data. Klik ikon image untuk memindahkan tabel ke daftar Database dan Tabel Terpilih.

    image

    4. Konfigurasikan sinkronisasi penuh dan inkremental

    1. Konfigurasikan jenis sinkronisasi penuh dan inkremental untuk tugas.

      • Jika Anda memilih Full Sync dan Incremental Sync di Sync Step, tugas secara default akan menjadi sinkronisasi penuh satu kali dan sinkronisasi inkremental berulang. Pengaturan ini tidak dapat diubah.

      • Jika Anda memilih Full Sync di Sync Step, Anda dapat mengonfigurasi tugas untuk sinkronisasi penuh satu kali atau sinkronisasi penuh berulang.

      • Jika Anda memilih Incremental Sync di Sync Step, Anda dapat mengonfigurasi tugas sebagai sinkronisasi inkremental satu kali atau sinkronisasi inkremental berulang.

        Catatan

        Langkah-langkah berikut menggunakan tugas sinkronisasi penuh satu kali dan sinkronisasi inkremental berulang sebagai contoh.

    2. Konfigurasikan parameter jadwal berulang.

      Jika Anda ingin tugas berjalan pada jadwal berulang, klik Recurring Schedule Parameters.

    5. Pemetaan ke tabel tujuan

    Setelah Anda memilih tabel untuk disinkronkan di langkah sebelumnya, mereka akan otomatis ditampilkan di halaman ini. Tabel tujuan memiliki status 'pemetaan harus diperbarui'. Anda harus menentukan pemetaan antara tabel sumber dan tabel tujuan, yang menentukan bagaimana data dibaca dari tabel sumber dan ditulis ke tabel tujuan. Lalu, klik Refresh Mapping untuk melanjutkan. Anda dapat langsung memperbarui pemetaan atau menyesuaikan aturan penamaan tabel tujuan terlebih dahulu.

    Catatan

    • Anda dapat memilih tabel untuk disinkronkan dan klik Batch Refresh Mapping. Jika Anda tidak mengonfigurasi aturan pemetaan, aturan nama tabel default adalah ${SourceDBName}_${TableName}. Jika tabel dengan nama yang sama tidak ada di tujuan, tabel baru akan otomatis dibuat.

    • Karena tugas dijadwalkan untuk berjalan secara berkala, Anda harus menentukan properti penjadwalannya, seperti Scheduling Cycle, Scheduling Time, dan Scheduling Resource Group. Konfigurasi penjadwalan untuk tugas sinkronisasi ini konsisten dengan konfigurasi penjadwalan node di Data Studio. Untuk informasi lebih lanjut, lihat Penjadwalan Node.

    • Tetapkan Incremental Condition untuk menyaring data sumber dengan klausa WHERE. Masukkan hanya isi klausa WHERE, bukan kata kunci WHERE. Jika Anda mengaktifkan jadwal berulang, Anda dapat menggunakan variabel parameter sistem.

    • Di kolom Custom Destination Table Name Mapping, klik Edit untuk menyesuaikan aturan penamaan tabel tujuan.

      Anda dapat menggunakan variabel bawaan dan string yang dimasukkan secara manual untuk membuat nama tabel tujuan. Anda juga dapat mengedit variabel bawaan. Misalnya, Anda dapat membuat aturan penamaan tabel baru yang menambahkan akhiran ke nama tabel sumber untuk membentuk nama tabel tujuan.

    1. Edit pemetaan tipe bidang

    Tugas sinkronisasi memetakan tipe bidang sumber ke tipe bidang tujuan secara default. Untuk menyesuaikan pemetaan ini, klik Edit Field Type Mapping di sudut kanan atas tabel. Setelah Anda mengonfigurasi pemetaan, klik Apply And Refresh Mapping.

    2. Edit skema tabel tujuan dan tetapkan nilai bidang

    Jika tabel tujuan memiliki status To Be Created, Anda dapat menambahkan bidang ke skemanya. Ikuti langkah-langkah berikut:

    1. Tambahkan bidang ke tabel tujuan.

      • Untuk menambahkan bidang ke tabel tunggal, klik tombol image.png di kolom Target Table Name.

      • Untuk menambahkan bidang dalam batch, pilih semua tabel untuk disinkronkan. Di bagian bawah tabel, pilih Batch Modify > Destination Table Schema - Batch Modify And Add Fields.

    2. Tetapkan nilai ke bidang. Anda dapat menggunakan operasi berikut untuk menetapkan nilai ke bidang yang baru saja Anda tambahkan.

      • Untuk menetapkan nilai ke tabel tunggal: Di kolom Destination Table Field Assignment, klik Configure.

      • Untuk menetapkan nilai dalam batch, di bagian bawah daftar, pilih Batch Modify > Destination Table Field Assignment untuk menetapkan nilai ke bidang identik di beberapa tabel tujuan.

      Catatan

      Anda dapat menetapkan konstanta atau variabel. Klik ikon image untuk beralih antara mode penugasan.

    3. Sesuaikan parameter lanjutan

    Untuk kontrol detail halus atas tugas, klik Configure di kolom Customize Advanced Parameters.

    Penting

    Ubah parameter ini hanya jika Anda sepenuhnya memahami apa yang mereka lakukan. Pengaturan yang salah dapat menyebabkan kesalahan tak terduga atau masalah kualitas data.

    6. Konfigurasikan parameter lanjutan

    Tugas sinkronisasi menyediakan beberapa parameter yang dapat Anda ubah sesuai kebutuhan. Misalnya, Anda dapat membatasi jumlah maksimum koneksi untuk mencegah tugas sinkronisasi memberikan tekanan terlalu besar pada database produksi Anda.

    Catatan

    Ubah parameter ini hanya jika Anda sepenuhnya memahami apa yang mereka lakukan. Pengaturan yang salah dapat menyebabkan kesalahan tak terduga atau masalah kualitas data.

    1. Di sudut kanan atas halaman, klik Konfigurasi Parameter Lanjutan untuk pergi ke halaman konfigurasi parameter lanjutan.

    2. Di halaman Konfigurasi Parameter Lanjutan, ubah nilai parameter.

    7. Konfigurasikan grup sumber daya

    Di sudut kanan atas halaman, klik Resource Group Configuration untuk melihat atau beralih grup sumber daya untuk tugas saat ini.

    8. Jalankan tugas sinkronisasi

    1. Setelah Anda menyelesaikan konfigurasi, klik Complete Configuration di bagian bawah halaman.

    2. Di halaman Data Integration > Sync Task, temukan tugas sinkronisasi yang dibuat dan klik Start di kolom Actions.

    3. Di Task List, klik Name/ID tugas untuk melihat detail eksekusi.

    9. Konfigurasikan alarm

    Setelah tugas berjalan, pekerjaan terjadwal dihasilkan di Pusat Operasi. Untuk mencegah kesalahan tugas menyebabkan latensi sinkronisasi data, Anda dapat menetapkan kebijakan alarm untuk tugas sinkronisasi.

    1. Di Task List, temukan tugas sinkronisasi yang sedang berjalan. Di kolom Tindakan, pilih More > Edit untuk membuka halaman pengeditan tugas.

    2. Klik Next. Lalu, klik Alarm Configuration di sudut kanan atas halaman untuk membuka halaman pengaturan alarm.

    3. Di kolom Scheduling Information, klik pekerjaan terjadwal untuk membuka halaman detail tugas di Pusat Operasi dan ambil Task ID.

    4. Di panel navigasi kiri Pusat Operasi, pilih Task Monitoring > Monitoring Alarms > Rule Management untuk pergi ke halaman Manajemen Aturan.

    5. Klik Create Custom Rule dan tetapkan Rule Object, Trigger Method, dan Alarm Behavior. Untuk informasi lebih lanjut, lihat Manajemen aturan.

      Di bidang Rule Object, cari tugas target menggunakan ID Tugas yang diperoleh dan tetapkan alarm.

    O&M Tugas Sinkronisasi

    Lihat status tugas

    Setelah membuat tugas sinkronisasi, Anda dapat melihat daftar tugas sinkronisasi beserta informasi dasarnya di halaman tugas sinkronisasi.

    image

    • Di kolom Tindakan, Anda dapat Start atau Stop tugas sinkronisasi. Di menu Lainnya, Anda dapat Edit, View, atau melakukan operasi lain pada tugas sinkronisasi.

    • Untuk tugas yang sedang berjalan, Anda dapat melihat status berjalan dasar di bagian Execution Overview. Anda juga dapat mengklik area ikhtisar yang sesuai untuk melihat detail eksekusi.

      image

      Untuk tugas sinkronisasi offline seluruh database MySQL ke StarRocks:

      • Jika langkah sinkronisasi tugas Anda adalah Full Synchronization, migrasi skema dan sinkronisasi penuh ditampilkan di sini.

      • Jika langkah sinkronisasi tugas Anda adalah Incremental Synchronization, migrasi skema dan sinkronisasi inkremental ditampilkan di sini.

      • Jika langkah sinkronisasi tugas Anda adalah Full Synchronization + Incremental Synchronization, migrasi skema, sinkronisasi penuh, dan sinkronisasi inkremental ditampilkan di sini.

    Jalankan ulang tugas

    • Klik Rerun untuk menjalankan ulang tugas tanpa mengubah konfigurasi tugas.

      Efek: Operasi ini menjalankan ulang tugas satu kali atau memperbarui properti tugas berulang.

    • Untuk menjalankan ulang tugas setelah mengeditnya dengan menambahkan atau menghapus tabel, edit tugas dan klik Complete. Status tugas kemudian berubah menjadi Apply Update. Klik Apply Update untuk segera memicu jalankan ulang tugas yang telah diedit.

      Efek: Hanya tabel baru yang disinkronkan. Tabel yang sebelumnya disinkronkan tidak disinkronkan lagi.

    • Setelah Anda mengedit tugas (misalnya, dengan mengubah nama tabel tujuan atau beralih ke tabel tujuan yang berbeda) dan klik Selesai, operasi yang tersedia untuk tugas berubah menjadi Apply Update. Klik Apply Update untuk segera memicu jalankan ulang tugas yang telah diedit.

      Efek: Tabel yang telah dimodifikasi disinkronkan. Tabel yang tidak dimodifikasi tidak disinkronkan lagi.