DataWorks：Konfigurasikan tugas sinkronisasi real-time di DataStudio

Konfigurasikan tugas sinkronisasi real-time untuk satu tabel

1. Konfigurasikan sumber data asal.

   Jenis sumber data asal berikut dan konfigurasinya didukung untuk sinkronisasi data satu tabel:

   • Konfigurasikan MySQL sebagai sumber

   • Konfigurasikan DataHub sebagai sumber

   • Konfigurasikan LogHub (SLS) sebagai sumber

   • Konfigurasikan Kafka sebagai sumber

   • Konfigurasikan PolarDB sebagai sumber

   1. Di bagian Input di sisi kiri halaman konfigurasi tugas sinkronisasi real-time, seret komponen sumber data asal yang dituju ke panel di sebelah kanan.

      

   2. Klik komponen sumber dan konfigurasikan parameternya di panel Node Configuration di sebelah kanan.

2. Opsi: Konfigurasikan metode transformasi data.

   Jika Anda ingin mentransformasi data asal ke format output yang diperlukan selama sinkronisasi real-time, Anda dapat mengonfigurasi metode transformasi data.

   Metode transformasi berikut didukung untuk sinkronisasi data satu tabel:

   • Konfigurasikan transformasi penyaringan data: Anda dapat menyaring data berdasarkan aturan, seperti ukuran suatu bidang. Hanya data yang memenuhi aturan yang dipertahankan.

   • Konfigurasikan penggantian string: Anda dapat mengganti bidang string.

   • Konfigurasikan penyamaran data: Anda dapat menyamarkan data satu tabel yang disinkronkan secara real time lalu menyimpannya di lokasi database tertentu.

   1. Di bagian Transform di sisi kiri halaman konfigurasi, seret komponen transformasi data yang diperlukan ke panel di sebelah kanan. Arahkan kursor ke komponen sumber untuk menampilkan titik koneksi. Hubungkan titik bawah komponen sumber ke titik atas komponen transformasi. Setelah terhubung, Anda dapat mengonfigurasi komponen transformasi di panel Node Configuration.

      

   2. Klik komponen transformasi dan konfigurasikan parameternya di panel Node Configuration di sebelah kanan.

3. Konfigurasikan sumber data tujuan.

   Jenis sumber data tujuan berikut dan konfigurasinya didukung untuk sinkronisasi data satu tabel:

   • Konfigurasikan MaxCompute sebagai tujuan

   • Konfigurasikan Hologres sebagai tujuan

   • Konfigurasikan DataHub sebagai tujuan

   • Konfigurasikan Kafka sebagai tujuan

   • Konfigurasikan Elasticsearch sebagai tujuan

   1. Di bagian Output di sisi kiri halaman konfigurasi, seret komponen sumber data tujuan yang dituju ke panel di sebelah kanan dan hubungkan ke komponen hulu. Konfigurasikan sumber data tujuan, tabel, dan pemetaan bidang. Jika tabel tujuan belum ada, Anda dapat mengklik Create Table With One Click untuk membuatnya dengan cepat.

      

   2. Klik komponen tujuan dan konfigurasikan parameternya di panel Node Configuration di sebelah kanan.

4. Di bilah alat di atas kanvas, klik Save untuk menyelesaikan konfigurasi tugas.

Konfigurasikan tugas sinkronisasi real-time untuk seluruh database

1. Atur sumber dan aturan sinkronisasi.

   1. Di bagian Data Source, pilih Type dan nama Data Source yang akan disinkronkan.

   2. Pilih tabel yang akan disinkronkan.

      Di bagian Select Source Tables To Synchronize, semua tabel dalam sumber data yang dipilih akan ditampilkan. Di bagian Source Databases And Tables, pilih semua atau beberapa tabel dari database yang ingin Anda sinkronkan. Lalu, klik ikon untuk memindahkannya ke daftar Selected Databases And Tables.

      Penting

      Jika tabel yang dipilih tidak memiliki kunci primer, tabel tersebut tidak dapat disinkronkan secara real time.

   3. Atur aturan pemetaan untuk nama tabel.

      Pada langkah ini, Anda dapat memilih database dan tabel dari sumber data untuk disinkronkan. Secara default, solusi sinkronisasi menulis database dan tabel sumber ke skema atau tabel dengan nama yang sama di tujuan. Jika skema atau tabel tersebut tidak ada di tujuan, maka akan dibuat secara otomatis. Anda juga dapat menentukan nama skema atau tabel tujuan menggunakan Set Mapping Rule For Table (Database) Name. Hal ini memungkinkan Anda menulis data dari beberapa tabel ke satu tabel, atau memperbarui awalan tetap untuk nama database atau tabel sumber ke awalan lain saat menulis ke tujuan.

      • Source And Destination Table Name Conversion Rule: Anda dapat menggunakan ekspresi reguler untuk mengonversi nama tabel sumber menjadi nama tabel tujuan akhir.

        • Contoh 1: Tulis data dari tabel sumber dengan awalan `doc_` ke tabel tujuan dengan awalan `pre_`.

        • Contoh 2: Tulis data dari beberapa tabel ke satu tabel tujuan.

          Untuk menyinkronkan tabel sumber bernama "table_01", "table_02", dan "table_03" ke satu tabel tujuan bernama "my_table", konfigurasikan aturan konversi ekspresi reguler untuk nama tabel sebagai berikut: Atur Source ke `table.*` dan Destination ke `my_table`.

      • Destination Table Name Rule: Anda dapat menggunakan kombinasi variabel bawaan untuk menghasilkan nama tabel tujuan. Anda juga dapat menambahkan awalan dan akhiran ke nama tabel tujuan yang telah dikonversi. Variabel bawaan yang tersedia adalah:

        • ${db_table_name_src_transed}: Nama tabel setelah konversi dalam "Aturan konversi nama tabel sumber dan tujuan".

        • ${db_name_src_transed}: Nama skema tujuan setelah konversi dalam "Aturan konversi nama database sumber dan skema tujuan".

        • ${ds_name_src}: Nama sumber data sumber.

        Contoh: Proses lebih lanjut nama tabel yang telah dikonversi oleh aturan konversi nama tabel sumber dan tujuan pada langkah sebelumnya. Gunakan `${db_table_name_src_transed}` untuk merepresentasikan hasil langkah sebelumnya, yaitu "my_table". Lalu, tambahkan awalan dan akhiran ke variabel bawaan ini, seperti `pre_${db_table_name_src_transed}_post`. Nama tabel tujuan akhir adalah "pre_my_table_post".

      • Source Database And Destination Schema Name Conversion Rule: Anda dapat menggunakan ekspresi reguler untuk mengonversi nama skema sumber menjadi nama skema tujuan akhir.

        Contoh: Ganti awalan `doc_` dari nama database sumber dengan awalan `pre_`.

2. Pilih sumber data tujuan dan konfigurasikan tabel atau topik tujuan.

   1. Di halaman Set Destination Table Or Topic, konfigurasikan informasi dasar untuk Destination Data Source. Ini termasuk parameter seperti mode penulisan dan pengaturan partisi. Konfigurasi spesifik bervariasi berdasarkan antarmuka sinkronisasi real-time masing-masing sumber data.

   2. Klik Refresh Source And Destination Table Mapping untuk membuat pemetaan antara tabel sumber dan tujuan yang akan disinkronkan.

      Anda dapat menyesuaikan nama skema dan tabel tujuan serta menambahkan konstanta dan variabel ke tabel tujuan dengan mengklik Edit Additional Fields. Konfigurasi spesifik bervariasi berdasarkan antarmuka sinkronisasi real-time masing-masing sumber data.

      Catatan

      Jika Anda menyinkronkan banyak tabel, prosesnya mungkin lambat. Harap tunggu.

3. Opsi: Atur aturan sinkronisasi tingkat tabel.

   Beberapa solusi sinkronisasi mendukung kebijakan pemrosesan DML kustom tingkat tabel. Artinya, Anda dapat menentukan kebijakan pemrosesan yang sesuai untuk operasi insert, update, atau delete yang terjadi di tabel sumber.

   Catatan

   Operasi DML yang didukung dapat berbeda antar sumber data. Apakah solusi sinkronisasi mendukung kebijakan pemrosesan DML tergantung pada antarmuka produk. Untuk informasi tentang operasi DML yang didukung oleh sumber data, lihat Operasi DML dan DDL yang didukung.

4. Atur aturan pemrosesan pesan DDL.

   Sumber data asal mungkin melibatkan banyak operasi DDL. Selama sinkronisasi real-time, Anda dapat mengatur kebijakan pemrosesan untuk pesan DDL berbeda yang dikirim ke tujuan berdasarkan kebutuhan bisnis Anda. Operasi DDL yang didukung dapat berbeda antar sumber data. Untuk informasi selengkapnya, lihat Operasi DML dan DDL yang didukung. Di halaman Data Integration > Configuration Options > Real-time Synchronization DDL Message Processing Policy, Anda dapat mengatur kebijakan pemrosesan DDL untuk setiap jenis database tujuan. Tabel berikut menjelaskan kebijakan pemrosesan pesan DDL.

   Jenis Pesan DDL	Kebijakan Pemrosesan
   Create Table	Saat DataWorks menerima pesan DDL jenis yang sesuai, kebijakan pemrosesannya adalah sebagai berikut: Normal Processing: Meneruskan pesan ke sumber data tujuan untuk diproses. Karena sumber data tujuan yang berbeda mungkin memiliki kebijakan berbeda dalam menangani pesan DDL, DataWorks hanya meneruskan pesan tersebut. Ignore: Membuang pesan dan tidak mengirimkannya ke sumber data tujuan. Alert: Membuang pesan dan mencatat peringatan di log sinkronisasi real-time, yang menunjukkan bahwa pesan tersebut dibuang karena kesalahan eksekusi. Error: Tugas sinkronisasi real-time langsung masuk ke status kesalahan dan berhenti berjalan.
   Delete Table
   Add Column
   Delete Column
   Rename Table
   Rename Column
   Modify Column Type
   Truncate Table

5. Atur sumber daya waktu proses.

   • Fitur kontrol konkurensi tugas membatasi jumlah maksimum koneksi bersamaan untuk membaca dari dan menulis ke database.

   • Anda dapat mengontrol apakah tugas sinkronisasi mentolerir data kotor.

     • Jika data kotor tidak diizinkan, tugas gagal dan keluar jika data kotor dihasilkan selama eksekusi.

     • Jika data kotor diizinkan, tugas mengabaikan data kotor (tidak ditulis ke tujuan) dan terus berjalan secara normal.

6. Klik Complete Configuration.

Anda dapat memigrasikan tugas integrasi real-time untuk satu tabel yang dikonfigurasi di DataStudio ke halaman Data Integration dengan mengklik Migrate To Primary Site.

1. Klik ganda tugas integrasi real-time untuk satu tabel yang ingin Anda migrasikan. Di halaman konfigurasi tugas, klik Migrate To Primary Site untuk memigrasikan tugas tersebut.

   

2. Di pojok kiri atas, klik ikon dan pilih All Products > Data Integration. Di halaman Sync Task, Anda dapat melihat tugas integrasi real-time untuk satu tabel yang berhasil dimigrasikan di daftar tugas.