全部产品
Search

搜索本产品

    DataWorks：Sinkronisasi real-time seluruh database MySQL ke StarRocks

    文档中心

    DataWorks：Sinkronisasi real-time seluruh database MySQL ke StarRocks

    更新时间：Oct 29, 2025

    Data Integration mendukung sinkronisasi real-time semua data dalam database seperti MySQL, Oracle, dan PolarDB ke StarRocks. Topik ini menjelaskan cara menyinkronkan semua data dalam database MySQL ke StarRocks dalam mode penuh dan inkremental.

    Prasyarat

    Peringatan

    • Sinkronisasi real-time semua data dalam database MySQL ke StarRocks memerlukan tabel tujuan StarRocks menggunakan model kunci utama.

    • Anda dapat menyinkronkan perubahan data yang dihasilkan hanya oleh operasi TRUNCATE saat menjalankan tugas sinkronisasi real-time untuk menyinkronkan semua data dalam database MySQL ke StarRocks. Untuk jenis operasi DDL lainnya, Anda dapat memilih Abaikan atau Kritis sebagai aturan pemrosesan untuk pesan yang dihasilkan dari operasi tersebut saat mengonfigurasi tugas sinkronisasi semacam itu.

    Prosedur

    Langkah 1: Pilih jenis tugas sinkronisasi

    1. Pergi ke halaman Data Integration.

      Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi di sebelah kiri, pilih Data Integration > Data Integration. Pada halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down dan klik Go to Data Integration.

    2. Di panel navigasi di sebelah kiri, klik Synchronization Task, lalu klik Create Synchronization Task di bagian atas halaman untuk pergi ke halaman pembuatan tugas sinkronisasi. Konfigurasikan informasi dasar berikut:

      • Source And Destination: MySQL→StarRocks

      • New Task Name: Sesuaikan nama tugas sinkronisasi.

      • Synchronization Type: Database-wide Real-time.

      • Synchronization Steps: Pilih Full Synchronization dan Incremental Synchronization.

    Langkah 2: Konfigurasikan jaringan dan sumber daya

    1. Di bagian Network And Resource Configuration, pilih Resource Group untuk tugas sinkronisasi. Anda dapat mengalokasikan jumlah CU untuk Task Resource Usage.

    2. Untuk Source Data Source, pilih sumber data MySQL yang telah ditambahkan. Untuk Destination Data Source, pilih sumber data StarRocks yang telah ditambahkan, lalu klik Test Connectivity.image

    3. Setelah memastikan bahwa kedua sumber data sumber dan tujuan berhasil terhubung, klik Next.

    Langkah 3: Pilih tabel dari mana Anda ingin menyinkronkan data

    Pada langkah ini, Anda dapat memilih tabel dari mana Anda ingin menyinkronkan data di bagian Tabel Sumber dan klik ikon image untuk memindahkannya ke bagian Tabel Terpilih di sebelah kanan.

    image

    Langkah 4: Konfigurasikan pengaturan terkait tabel tujuan

    Setelah Anda memilih tabel dari mana Anda ingin menyinkronkan data, tabel yang dipilih secara otomatis ditampilkan di bagian Aturan Pemetaan untuk Tabel Tujuan. Properti tabel tujuan menunggu untuk dipetakan. Anda harus secara manual menentukan pemetaan antara tabel sumber dan tabel tujuan untuk menentukan hubungan pembacaan dan penulisan data. Kemudian, Anda dapat mengklik Refresh di kolom Tindakan. Anda dapat langsung menyegarkan pemetaan antara tabel sumber dan tabel tujuan. Anda juga dapat menyegarkan pemetaan setelah mengonfigurasi pengaturan terkait tabel tujuan.

    Catatan

    • Anda dapat memilih tabel yang akan disinkronkan dan klik Batch Refresh Mapping. Jika tidak ada aturan pemetaan yang dikonfigurasi, aturan nama tabel default adalah ${source_database_name}_${table_name}. Jika tidak ada tabel dengan nama yang sama di tujuan, sistem secara otomatis membuat tabel tersebut.

    • Anda dapat mengklik Edit di kolom Customize Mapping Rules for Destination Table Names untuk mengonfigurasi aturan pemetaan nama tabel tujuan berdasarkan kebutuhan bisnis Anda.

      Anda dapat menggabungkan variabel bawaan dan string tertentu menjadi nama tabel tujuan. Anda dapat mengedit variabel bawaan. Misalnya, ketika Anda membuat aturan pemetaan, Anda dapat menambahkan akhiran ke variabel yang menunjukkan nama tabel sumber untuk membentuk nama tabel tujuan.

    a. Ubah pemetaan tipe data untuk bidang

    Pemetaan default ada antara tipe data bidang sumber dan tipe data bidang tujuan. Anda dapat mengklik Edit Mapping of Field Data Types di sudut kanan atas bagian Aturan Pemetaan untuk Tabel Tujuan untuk mengonfigurasi pemetaan tipe data antara bidang sumber dan bidang tujuan berdasarkan kebutuhan bisnis Anda. Setelah konfigurasi selesai, klik Apply and Refresh Mapping.

    b. Ubah skema tabel tujuan untuk menambahkan bidang ke tabel dan menetapkan nilai ke bidang

    Jika tabel tujuan berada dalam status to-be-created, Anda dapat melakukan langkah-langkah berikut untuk menambahkan bidang ke tabel dan menetapkan nilai ke bidang:

    1. Tambahkan bidang ke satu atau beberapa tabel tujuan.

      • Tambahkan bidang ke tabel tujuan tunggal: Temukan tabel tujuan ke mana Anda ingin menambahkan bidang dan klik ikon image.png di kolom Destination Table Name. Di kotak dialog yang muncul, tambahkan bidang.

      • Tambahkan bidang ke beberapa tabel tujuan sekaligus: Pilih tabel tujuan ke mana Anda ingin menambahkan bidang sekaligus, klik Batch Modify di bagian bawah halaman, lalu klik Destination Table Schema - Batch Modify and Add Field.

    2. Tetapkan nilai ke bidang. Anda dapat melakukan salah satu dari operasi berikut untuk menetapkan nilai ke bidang:

      • Tetapkan nilai ke bidang yang ditambahkan ke tabel tujuan tunggal: Temukan tabel tujuan di mana Anda ingin menetapkan nilai ke bidang baru yang ditambahkan dan klik Configure di kolom Value assignment. Di kotak dialog Bidang Tambahan, tetapkan nilai ke bidang.

      • Tetapkan nilai ke bidang yang ditambahkan ke beberapa tabel tujuan sekaligus: Pilih tabel tujuan di mana Anda ingin menetapkan nilai ke bidang baru yang ditambahkan, klik Batch Modify di bagian bawah halaman, lalu klik Value assignment untuk menetapkan nilai ke bidang yang sama di tabel tujuan yang dipilih sekaligus.

      Catatan

      Anda dapat mengklik ikon image untuk beralih metode penetapan nilai dan menetapkan konstanta dan variabel ke bidang yang ditambahkan ke tabel tujuan.

    c. Konfigurasikan aturan pemrosesan DML

    Data Integration menyediakan aturan pemrosesan DML default. Anda juga dapat mengonfigurasi aturan pemrosesan DML untuk tabel tujuan berdasarkan kebutuhan bisnis Anda.

    • Konfigurasikan aturan pemrosesan DML untuk tabel tujuan tunggal: Temukan tabel tujuan untuk mana Anda ingin mengonfigurasi aturan pemrosesan DML dan klik Configure di kolom Configure DML Rule untuk mengonfigurasi aturan pemrosesan DML untuk tabel tersebut.

    • Konfigurasikan aturan pemrosesan DML untuk beberapa tabel tujuan sekaligus: Pilih tabel tujuan untuk mana Anda ingin mengonfigurasi aturan pemrosesan DML, klik Batch Modify di bagian bawah halaman, lalu klik Configure DML Rule.

    4. Tentukan apakah akan melakukan sinkronisasi penuh

    Jika Anda memilih Full Synchronization untuk Synchronization Steps ketika Anda memilih jenis tugas sinkronisasi, Anda dapat menonaktifkan sinkronisasi penuh untuk tabel tertentu di sini.

    5. Konfigurasikan aturan peringatan

    Untuk mencegah kegagalan tugas sinkronisasi menyebabkan latensi pada sinkronisasi data bisnis, Anda dapat mengonfigurasi aturan peringatan yang berbeda untuk tugas sinkronisasi.

    1. Di sudut kanan atas halaman, klik Configure Alert Rule untuk pergi ke panel Configure Alert Rule.

    2. Di panel Konfigurasikan Aturan Peringatan, klik Add Alert Rule. Di kotak dialog Tambah Aturan Peringatan, konfigurasikan parameter untuk mengonfigurasi aturan peringatan.

      Catatan

      Aturan peringatan yang Anda konfigurasikan pada langkah ini berlaku untuk sub-tugas sinkronisasi real-time yang akan dihasilkan oleh tugas sinkronisasi. Setelah konfigurasi tugas sinkronisasi selesai, Anda dapat merujuk ke Kelola tugas sinkronisasi real-time untuk pergi ke halaman Tugas Sinkronisasi Real-time dan memodifikasi aturan peringatan yang dikonfigurasikan untuk sub-tugas sinkronisasi real-time.

    3. Kelola aturan peringatan.

      Anda dapat mengaktifkan atau menonaktifkan aturan peringatan yang dibuat. Anda juga dapat menentukan penerima peringatan yang berbeda berdasarkan tingkat keparahan peringatan.

    6. Konfigurasikan parameter lanjutan

    Anda dapat mengubah nilai parameter tertentu yang dikonfigurasikan untuk tugas sinkronisasi berdasarkan kebutuhan bisnis Anda. Misalnya, Anda dapat menentukan nilai yang sesuai untuk parameter Koneksi Baca Maksimum untuk mencegah tugas sinkronisasi saat ini memberikan tekanan berlebih pada database sumber dan produksi data terpengaruh.

    Catatan

    Untuk mencegah kesalahan tak terduga atau masalah kualitas data, kami sarankan Anda memahami arti parameter sebelum mengubah nilai parameter.

    1. Di sudut kanan atas halaman konfigurasi, klik Konfigurasikan Parameter Lanjutan.

    2. Di panel Konfigurasikan Parameter Lanjutan, ubah nilai parameter yang diinginkan.

    Langkah 7: Konfigurasikan aturan pemrosesan DDL

    Operasi DDL mungkin dilakukan pada sumber. Anda dapat mengklik Configure DDL Capability di sudut kanan atas halaman untuk mengonfigurasi aturan untuk memproses pesan DDL dari sumber berdasarkan kebutuhan bisnis Anda.

    Catatan

    • Untuk informasi tentang strategi pemrosesan pesan DDL yang berbeda, lihat Aturan pemrosesan pesan DDL.

    • Anda dapat menyinkronkan perubahan data yang dihasilkan hanya oleh operasi TRUNCATE saat menjalankan tugas sinkronisasi real-time untuk menyinkronkan semua data dalam database MySQL ke StarRocks.

    8. Lihat dan ubah kelompok sumber daya

    Anda dapat mengklik Configure Resource Group di sudut kanan atas halaman untuk melihat dan mengubah kelompok sumber daya yang digunakan untuk menjalankan tugas sinkronisasi saat ini.

    9. Jalankan tugas sinkronisasi

    1. Setelah konfigurasi tugas sinkronisasi selesai, klik Complete di bagian bawah halaman.

    2. Di bagian Nodes halaman Data Integration, temukan tugas sinkronisasi yang dibuat dan klik Start di kolom Actions.

    3. Klik name or ID tugas sinkronisasi di bagian Tasks dan lihat proses jalannya tugas sinkronisasi secara rinci.

    Lakukan operasi O&M pada tugas sinkronisasi

    Lihat status tugas sinkronisasi

    Setelah Anda membuat tugas sinkronisasi, Anda dapat melihat daftar tugas sinkronisasi yang dibuat dan informasi dasar setiap tugas di halaman tugas sinkronisasi.image

    • Anda dapat Start atau Stop tugas sinkronisasi di kolom Tindakan. Anda juga dapat Edit, View, dan melakukan operasi lain pada tugas sinkronisasi dari menu Lainnya.

    • Untuk tugas yang telah dimulai, Anda dapat melihat status dasar tugas di Execution Overview, atau klik area ikhtisar yang sesuai untuk melihat detail eksekusi.image

      Tugas sinkronisasi real-time dari MySQL ke StarRocks terdiri dari tiga langkah:

      • Migrasi Skema: Tab ini menampilkan informasi seperti apakah tabel tujuan adalah tabel baru atau tabel yang sudah ada. Untuk tabel baru, pernyataan DDL yang digunakan untuk membuat tabel ditampilkan.

      • Inisialisasi Data Penuh: Tab ini menampilkan informasi seperti tabel sumber dan tabel tujuan yang terlibat dalam sinkronisasi batch, kemajuan sinkronisasi, dan jumlah catatan data yang disinkronkan.

      • Sinkronisasi Real-time: Tab ini menampilkan informasi statistik tentang sinkronisasi real-time, termasuk kemajuan sinkronisasi, catatan DDL, catatan DML, dan informasi peringatan.

    Jalankan ulang tugas sinkronisasi

    Dalam beberapa kasus khusus, jika Anda menambahkan tabel ke sumber atau menghapus tabel dari sumber, atau mengubah skema atau nama tabel tujuan, Anda dapat mengklik Lainnya di kolom Actions tugas sinkronisasi lalu klik Rerun untuk menjalankan ulang tugas setelah perubahan. Selama proses menjalankan ulang, tugas sinkronisasi hanya menyinkronkan data dari tabel yang baru ditambahkan ke tujuan atau hanya dari tabel sumber yang dipetakan ke tabel tujuan yang skema atau namanya diubah.

    • Jika Anda ingin menjalankan ulang tugas sinkronisasi tanpa mengubah konfigurasi tugas, klik Lainnya di kolom Tindakan lalu klik Rerun untuk menjalankan ulang tugas untuk melakukan sinkronisasi penuh dan sinkronisasi inkremental lagi.

    • Jika Anda ingin menjalankan ulang tugas sinkronisasi setelah Anda menambahkan tabel ke tugas atau menghapus tabel dari tugas, klik Complete setelah perubahan. Dalam hal ini, Apply Updates ditampilkan di kolom Tindakan tugas sinkronisasi. Klik Apply Updates untuk memicu sistem menjalankan ulang tugas sinkronisasi. Selama proses menjalankan ulang, tugas sinkronisasi menyinkronkan data dari tabel yang baru ditambahkan ke tujuan. Data di tabel asli tidak disinkronkan lagi.