全部产品
Search
文档中心

DataWorks:Sinkronkan semua data dalam database MySQL ke SelectDB secara real-time

更新时间:Oct 29, 2025

Data Integration mendukung sinkronisasi real-time dari seluruh data dari sumber seperti MySQL dan PostgreSQL ke SelectDB. Topik ini menjelaskan cara menyinkronkan semua data dalam database MySQL ke SelectDB menggunakan mode penuh dan inkremental.

Prasyarat

Prosedur

1. Pilih jenis tugas sinkronisasi

  1. Buka halaman Data Integration.

    Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih Wilayah yang diinginkan. Di panel navigasi sebelah kiri, pilih Data Integration > Data Integration. Pada halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down dan klik Go to Data Integration.

  2. Di panel navigasi sebelah kiri, klik Sync Tasks. Kemudian, klik Create Sync Task di bagian atas halaman untuk membuka halaman pembuatan tugas sinkronisasi. Konfigurasikan informasi dasar berikut:

    • Source And Destination: MySQLSelectDB

    • New Task Name: Tentukan nama kustom untuk tugas sinkronisasi.

    • Synchronization Type: Real-time full database.

    • Synchronization Mode: Pilih Full Initialization dan Incremental Synchronization.

2. Konfigurasikan jaringan dan sumber daya

  1. Di bagian Network And Resource Configuration, pilih Resource Group untuk tugas sinkronisasi. Anda dapat mengalokasikan jumlah CU untuk Task Resource Usage.

  2. Untuk Source, pilih sumber data MySQL yang telah Anda tambahkan. Untuk Destination, pilih sumber data SelectDB yang telah Anda tambahkan. Lalu, klik Test Connectivity.image

  3. Setelah Anda mengonfirmasi bahwa kedua sumber data dan tujuan terhubung dengan sukses, klik Next.

3. Pilih tabel dari mana Anda ingin menyinkronkan data

Pada langkah ini, Anda dapat memilih tabel dari mana Anda ingin menyinkronkan data dalam daftar Tabel Sumber dan klik ikon image untuk memindahkan tabel yang dipilih ke daftar Tabel Terpilih.

image

4. Pemetaan tabel tujuan

Setelah Anda memilih tabel dari mana Anda ingin menyinkronkan data, tabel yang dipilih akan otomatis ditampilkan di bagian Aturan Pemetaan untuk Tabel Tujuan. Properti tabel tujuan sedang menunggu untuk dipetakan. Anda harus secara manual menentukan pemetaan antara tabel sumber dan tabel tujuan untuk menentukan hubungan pembacaan dan penulisan data. Lalu, Anda bisa klik Refresh di kolom Aksi. Anda dapat langsung menyegarkan pemetaan antara tabel sumber dan tabel tujuan. Anda juga dapat menyegarkan pemetaan setelah mengonfigurasi pengaturan terkait tabel tujuan.

Catatan
  • Anda dapat memilih tabel yang akan disinkronkan dan klik Batch Refresh Mapping. Jika tidak ada aturan pemetaan yang dikonfigurasi, aturan nama tabel default adalah ${Nama tabel sumber}. Jika tabel dengan nama yang sama tidak ada di tujuan, tabel baru akan otomatis dibuat.

  • Di kolom Custom Destination Database Name Mapping, Anda dapat mengklik tombol Configure untuk menyesuaikan aturan nama basis data tujuan.

    Anda dapat menggabungkan variabel bawaan dan string tertentu menjadi nama basis data tujuan akhir. Anda dapat mengedit variabel bawaan. Sebagai contoh, ketika Anda membuat aturan pemetaan, Anda dapat menambahkan akhiran ke variabel yang menunjukkan nama basis data sumber untuk membentuk nama basis data tujuan.

  • Di kolom Custom Destination Table Name Mapping, Anda dapat mengklik tombol Edit untuk menyesuaikan aturan nama tabel tujuan.

    Anda dapat menggabungkan variabel bawaan dan string tertentu menjadi nama tabel tujuan. Anda dapat mengedit variabel bawaan. Sebagai contoh, ketika Anda membuat aturan pemetaan, Anda dapat menambahkan akhiran ke variabel yang menunjukkan nama tabel sumber untuk membentuk nama tabel tujuan.

  • Jika Anda ingin menyinkronkan data ke tabel SelectDB, Anda harus menentukan kunci utama tabel tersebut. Secara default, tabel SelectDB menggunakan kunci utama yang sama dengan tabel sumber yang dipetakan. Pastikan bahwa tabel sumber memiliki kunci utama. Kunci utama tabel tujuan digunakan untuk deduplikasi data saat data ditulis ke tabel. Tentukan kunci utama untuk tabel tujuan berdasarkan kebutuhan bisnis Anda saat Anda membuat tabel.

a. Modifikasi pemetaan tipe data untuk bidang

Pemetaan default ada antara tipe data bidang sumber dan tipe data bidang tujuan. Anda dapat mengklik Edit Mapping of Field Data Types di sudut kanan atas bagian Aturan Pemetaan untuk Tabel Tujuan untuk mengonfigurasi pemetaan tipe data antara bidang sumber dan bidang tujuan berdasarkan kebutuhan bisnis Anda. Setelah konfigurasi selesai, klik Apply and Refresh Mapping.

b. Modifikasi skema tabel tujuan untuk menambahkan bidang ke tabel dan memberikan nilai ke bidang

Jika tabel tujuan berada dalam status to-be-created, Anda dapat melakukan langkah-langkah berikut untuk menambahkan bidang ke tabel dan memberikan nilai ke bidang:

  1. Tambahkan bidang ke satu atau lebih tabel tujuan.

    • Tambahkan bidang ke tabel tujuan tunggal: Temukan tabel tujuan ke mana Anda ingin menambahkan bidang dan klik ikon image.png di kolom Destination Table Name. Di kotak dialog yang muncul, tambahkan bidang.

    • Tambahkan bidang ke beberapa tabel tujuan sekaligus: Pilih tabel tujuan ke mana Anda ingin menambahkan bidang sekaligus, klik Batch Modify di bagian bawah halaman, lalu klik Destination Table Schema - Batch Modify and Add Field.

  2. Berikan nilai ke bidang. Anda dapat melakukan salah satu dari operasi berikut untuk memberikan nilai ke bidang:

    • Berikan nilai ke bidang yang ditambahkan ke tabel tujuan tunggal: Temukan tabel tujuan di mana Anda ingin memberikan nilai ke bidang yang baru ditambahkan dan klik Configure di kolom Value assignment. Di kotak dialog Bidang Tambahan, berikan nilai ke bidang.

    • Berikan nilai ke bidang yang ditambahkan ke beberapa tabel tujuan sekaligus: Pilih tabel tujuan di mana Anda ingin memberikan nilai ke bidang yang baru ditambahkan, klik Batch Modify di bagian bawah halaman, lalu klik Value assignment untuk memberikan nilai ke bidang yang sama di tabel tujuan yang dipilih sekaligus.

    Catatan

    Anda dapat mengklik ikon image untuk beralih metode penugasan nilai dan memberikan konstanta dan variabel ke bidang yang ditambahkan ke tabel tujuan.

c. Konfigurasikan aturan pemrosesan DML

Data Integration menyediakan aturan pemrosesan DML default. Anda juga dapat mengonfigurasi aturan pemrosesan DML untuk tabel tujuan berdasarkan kebutuhan bisnis Anda.

  • Konfigurasikan aturan pemrosesan DML untuk tabel tujuan tunggal: Temukan tabel tujuan untuk mana Anda ingin mengonfigurasi aturan pemrosesan DML dan klik Configure di kolom Configure DML Rule untuk mengonfigurasi aturan pemrosesan DML untuk tabel tersebut.

  • Konfigurasikan aturan pemrosesan DML untuk beberapa tabel tujuan sekaligus: Pilih tabel tujuan untuk mana Anda ingin mengonfigurasi aturan pemrosesan DML, klik Batch Modify di bagian bawah halaman, lalu klik Configure DML Rule.

4. Konfigurasikan parameter lanjutan

Jika Anda perlu menyesuaikan konfigurasi tugas untuk memenuhi persyaratan sinkronisasi kustom, Anda dapat mengklik Configure di kolom Custom Advanced Parameters untuk memodifikasi parameter lanjutan.

Penting

Sebelum Anda memodifikasi konfigurasi parameter lanjutan, pastikan Anda memahami arti dari parameter-parameter tersebut untuk mencegah kesalahan tak terduga atau masalah kualitas data.

5. Tentukan apakah akan melakukan sinkronisasi penuh

Jika Anda memilih Full Initialization untuk Synchronization Mode ketika Anda memilih jenis tugas sinkronisasi, Anda dapat menonaktifkan sinkronisasi penuh untuk tabel tertentu di sini.

5. Konfigurasikan aturan peringatan

Untuk mencegah kegagalan tugas sinkronisasi menyebabkan latensi pada sinkronisasi data bisnis, Anda dapat mengonfigurasi aturan peringatan yang berbeda untuk tugas sinkronisasi.

  1. Di sudut kanan atas halaman, klik Configure Alert Rule untuk pergi ke panel Configure Alert Rule.

  2. Di panel Konfigurasikan Aturan Peringatan, klik Add Alert Rule. Di kotak dialog Tambah Aturan Peringatan, konfigurasikan parameter untuk mengonfigurasi aturan peringatan.

    Catatan

    Aturan peringatan yang Anda konfigurasikan pada langkah ini berlaku untuk sub-tugas sinkronisasi real-time yang akan dihasilkan oleh tugas sinkronisasi. Setelah konfigurasi tugas sinkronisasi selesai, Anda dapat merujuk ke Kelola Tugas Sinkronisasi Real-time untuk pergi ke halaman Tugas Sinkronisasi Real-time dan memodifikasi aturan peringatan yang dikonfigurasikan untuk sub-tugas sinkronisasi real-time.

  3. Kelola aturan peringatan.

    Anda dapat mengaktifkan atau menonaktifkan aturan peringatan yang dibuat. Anda juga dapat menentukan penerima peringatan yang berbeda berdasarkan tingkat keparahan peringatan.

6. Konfigurasikan parameter lanjutan

Anda dapat mengubah nilai parameter tertentu yang dikonfigurasikan untuk tugas sinkronisasi berdasarkan kebutuhan bisnis Anda. Sebagai contoh, Anda dapat menentukan nilai yang sesuai untuk parameter Koneksi Baca Maksimum untuk mencegah tugas sinkronisasi saat ini memberikan tekanan berlebih pada basis data sumber dan produksi data terpengaruh.

Catatan

Untuk mencegah kesalahan tak terduga atau masalah kualitas data, kami sarankan Anda memahami arti dari parameter sebelum Anda mengubah nilai parameter tersebut.

  1. Di sudut kanan atas halaman konfigurasi, klik Konfigurasikan Parameter Lanjutan.

  2. Di panel Konfigurasikan Parameter Lanjutan, ubah nilai parameter yang diinginkan.

7. Konfigurasikan aturan pemrosesan DDL

Operasi DDL mungkin dilakukan pada sumber. Anda dapat mengklik Configure DDL Capability di sudut kanan atas halaman untuk mengonfigurasi aturan untuk memproses pesan DDL dari sumber berdasarkan kebutuhan bisnis Anda.

Catatan

Untuk informasi lebih lanjut, lihat Konfigurasikan Aturan untuk Memproses Pesan DDL.

8. Lihat dan ubah grup sumber daya

Anda dapat mengklik Configure Resource Group di sudut kanan atas halaman untuk melihat dan mengubah grup sumber daya yang digunakan untuk menjalankan tugas sinkronisasi saat ini.

9. Jalankan tugas sinkronisasi

  1. Setelah konfigurasi tugas sinkronisasi selesai, klik Complete di bagian bawah halaman.

  2. Di bagian Nodes halaman Data Integration, temukan tugas sinkronisasi yang dibuat dan klik Start di kolom Actions.

  3. Klik name or ID tugas sinkronisasi di bagian Tasks dan lihat proses rinci pelaksanaan tugas sinkronisasi.

Lakukan operasi O&M pada tugas sinkronisasi data

Lihat status tugas sinkronisasi data

Setelah Anda menyelesaikan konfigurasi tugas sinkronisasi data, Anda dapat melihat daftar tugas sinkronisasi yang dibuat dan informasi dasar setiap tugas sinkronisasi di halaman Tugas Sinkronisasi.image

  • Anda dapat Start atau Stop tugas sinkronisasi di kolom Aksi. Anda juga dapat Edit atau View tugas sinkronisasi dengan mengklik Lebih Banyak.

  • Untuk tugas yang sudah dimulai, Anda dapat melihat status dasar tugas di Execution Overview. Anda juga dapat mengklik area ikhtisar yang sesuai untuk melihat detail eksekusi.image

    Tugas sinkronisasi real-time dari MySQL ke SelectDB terdiri dari tiga langkah:

    • Migrasi Skema: Tab ini menampilkan informasi seperti apakah tabel tujuan adalah tabel baru atau tabel yang sudah ada. Untuk tabel baru, pernyataan DDL yang digunakan untuk membuat tabel ditampilkan.

    • Inisialisasi Data Penuh: Tab ini menampilkan informasi seperti tabel sumber dan tabel tujuan yang terlibat dalam sinkronisasi batch, kemajuan sinkronisasi, dan jumlah catatan data yang disinkronkan.

    • Sinkronisasi Real-time: Tab ini menampilkan informasi statistik tentang sinkronisasi real-time, termasuk kemajuan sinkronisasi, catatan DDL, catatan DML, dan informasi peringatan.

Jalankan ulang tugas sinkronisasi

Dalam beberapa kasus khusus, jika Anda menambahkan tabel ke sumber atau menghapus tabel dari sumber, atau mengubah skema atau nama tabel tujuan, Anda dapat mengklik Lebih Banyak di kolom Actions tugas sinkronisasi lalu klik Rerun untuk menjalankan ulang tugas setelah perubahan. Selama proses jalankan ulang, tugas sinkronisasi hanya menyinkronkan data dari tabel yang baru ditambahkan ke tujuan atau hanya dari tabel sumber yang dipetakan ke tabel tujuan yang skema atau namanya diubah.

  • Jika Anda ingin menjalankan ulang tugas sinkronisasi tanpa memodifikasi konfigurasi tugas, klik Lebih Banyak di kolom Aksi lalu klik Rerun untuk menjalankan ulang tugas untuk melakukan sinkronisasi penuh dan sinkronisasi inkremental lagi.

  • Jika Anda ingin menjalankan ulang tugas sinkronisasi setelah Anda menambahkan tabel ke tugas atau menghapus tabel dari tugas, klik Complete setelah perubahan. Dalam hal ini, Apply Updates ditampilkan di kolom Aksi tugas sinkronisasi. Klik Apply Updates untuk memicu sistem menjalankan ulang tugas sinkronisasi. Selama proses jalankan ulang, tugas sinkronisasi menyinkronkan data dari tabel yang baru ditambahkan ke tujuan. Data di tabel asli tidak disinkronkan lagi.