DataWorks：Konfigurasikan tugas sinkronisasi real-time

Konfigurasikan sinkronisasi tabel tunggal

1. Konfigurasikan sumber data input.

   Saat ini, jenis dan konfigurasi sumber data input yang didukung untuk sinkronisasi data tabel tunggal adalah sebagai berikut:

   • Konfigurasikan MySQL Reader

   • Konfigurasikan sumber DataHub

   • Konfigurasikan LogHub Reader

   • Konfigurasikan Kafka input

   • Konfigurasikan PolarDB Reader

   1. Seret komponen sumber data input dari daftar Input di sebelah kiri ke canvas di sebelah kanan.

      

   2. Klik komponen input dan konfigurasikan informasi terkait pada kotak dialog Node Configuration di sebelah kanan.

2. Opsional:Konfigurasikan transformasi data.

   Anda dapat mengonfigurasi transformasi data untuk memodifikasi data input.

   Saat ini, metode transformasi yang didukung untuk sinkronisasi data tabel tunggal adalah sebagai berikut:

   • Konfigurasikan transformasi penyaringan data: Menyaring data berdasarkan aturan. Hanya data yang cocok yang dipertahankan.

   • Konfigurasikan String Replace: Memungkinkan penggantian bidang bertipe string.

   • Konfigurasikan penyamaran data: Memungkinkan penyamaran data sensitif selama sinkronisasi real-time tabel tunggal dan penyimpanan di lokasi database tertentu.

   1. Pada area Conversion di sisi kiri halaman pengeditan tugas sinkronisasi real-time, seret komponen transformasi data yang diperlukan ke panel di sebelah kanan. Arahkan kursor ke komponen input untuk menampilkan titik koneksi. Hubungkan titik koneksi bagian bawah komponen input ke titik koneksi bagian atas komponen transformasi. Setelah terhubung, Anda dapat melakukan Node Configuration untuk komponen transformasi.

      

   2. Klik komponen transformasi dan konfigurasikan informasi terkait pada kotak dialog Node Configuration di sebelah kanan.

3. Konfigurasikan sumber data output.

   Saat ini, jenis dan konfigurasi sumber data output yang didukung untuk sinkronisasi data tabel tunggal adalah sebagai berikut:

   • Konfigurasikan MaxCompute Writer

   • Konfigurasikan Hologres Writer

   • Konfigurasikan DataHub Writer

   • Konfigurasikan Kafka Writer

   • Konfigurasikan Elasticsearch Writer

   1. Pada area Output di sisi kiri halaman pengeditan tugas sinkronisasi real-time, seret komponen sumber data output tujuan ke panel di sebelah kanan dan hubungkan ke komponen hulu. Konfigurasikan pemetaan hubungan sumber data tujuan, tabel, dan bidang. Jika tabel tujuan belum ada, klik Create Table untuk membuat tabel tersebut secara cepat.

      

   2. Klik komponen output dan konfigurasikan informasi terkait pada kotak dialog Node Configuration di sebelah kanan.

4. Klik Save pada bilah alat di atas canvas untuk menyelesaikan konfigurasi tugas.

Konfigurasikan sinkronisasi seluruh database

1. Atur sumber sinkronisasi dan aturan.

   1. Pada area Data Source, pilih Type dan nama Data Source yang akan disinkronkan.

   2. Pilih tabel yang akan disinkronkan.

      Pada bagian Select Source Table for Synchronization, pilih tabel yang akan disinkronkan dari daftar Source Table dan klik ikon untuk memindahkannya ke daftar Selected Table.

      Penting

      Sinkronisasi real-time tidak dapat dilakukan jika tabel yang dipilih tidak memiliki primary key.

   3. Atur aturan pemetaan untuk nama tabel.

      Pada langkah ini, Anda dapat memilih database dan tabel yang akan disinkronkan dari sumber data. Secara default, solusi sinkronisasi menulis data database dan tabel sumber ke skema atau tabel dengan nama yang sama di tujuan. Jika skema atau tabel tersebut tidak ada di tujuan, maka akan dibuat secara otomatis. Anda juga dapat menentukan nama skema atau tabel akhir yang ditulis ke tujuan dengan menggunakan Mapping Rules for Table Names. Hal ini memungkinkan Anda menulis data dari beberapa tabel ke satu tabel atau memperbarui awalan tetap dari nama database atau tabel sumber secara seragam saat menulis ke database atau tabel tujuan.

      • Source table name and destination table name conversion rules: Mendukung konversi nama tabel sumber menjadi nama tabel tujuan akhir menggunakan ekspresi reguler.

        • Contoh 1: Menulis data dari tabel dengan awalan "doc_" di sumber ke tabel dengan awalan "pre_" di tujuan.

        • Contoh 2: Menulis data dari beberapa tabel ke satu tabel tujuan.

          Sinkronkan tabel bernama "table_01", "table_02", dan "table_03" di sumber ke tabel bernama "my_table". Konfigurasikan aturan konversi nama tabel regex sebagai berikut: Source: table.*, Destination: my_table.

      • Rule for Destination Table Name: Mendukung pembuatan nama tabel tujuan menggunakan kombinasi variabel bawaan. Anda juga dapat menambahkan awalan dan akhiran ke nama tabel tujuan yang telah dikonversi. Variabel bawaan yang tersedia adalah:

        • ${db_table_name_src_transed}: Nama tabel setelah konversi di Source table name and destination table name conversion rules.

        • ${db_name_src_transed}: Nama skema tujuan setelah konversi di "Aturan Konversi Nama Database Sumber dan Skema Tujuan".

        • ${ds_name_src}: Nama sumber data sumber.

        Contoh: Memproses lebih lanjut nama tabel yang telah dikonversi pada langkah sebelumnya melalui penggabungan string. Gunakan ${db_table_name_src_transed} untuk merepresentasikan hasil "my_table" dari langkah sebelumnya, lalu tambahkan awalan dan akhiran ke variabel bawaan ini, misalnya pre_${db_table_name_src_transed}_post. Hal ini memetakan ke tabel tujuan bernama "pre_my_table_post".

      • Rule for Conversion Between Source Database Name and Destination Schema Name: Mendukung konversi nama skema sumber menjadi nama skema tujuan akhir menggunakan ekspresi reguler.

        Contoh: Mengganti awalan "doc_" dari nama database sumber dengan awalan "pre_".

2. Pilih sumber data tujuan dan konfigurasikan tabel atau topik tujuan.

   1. Pada halaman Configure Destination Table, konfigurasikan informasi dasar tujuan. Misalnya, mode penulisan dan pengaturan partisi. Konfigurasi spesifik tergantung pada antarmuka sinkronisasi real-time masing-masing sumber data.

   2. Klik Refresh Source and Destination Table Mapping untuk membuat hubungan pemetaan antara tabel sumber dan tabel tujuan yang akan disinkronkan.

      Anda dapat menyesuaikan skema tujuan dan nama tabel tujuan, serta menambahkan konstanta atau variabel ke tabel tujuan melalui Edit Additional Fields. Konfigurasi spesifik tergantung pada antarmuka sinkronisasi real-time masing-masing sumber data.

      Catatan

      Jika jumlah tabel yang akan disinkronkan banyak, prosesnya mungkin lambat. Harap bersabar.

3. Opsional:Atur aturan sinkronisasi granularitas tabel.

   Beberapa solusi sinkronisasi mendukung kebijakan pemrosesan DML tingkat tabel yang dapat dikustomisasi. Anda dapat menentukan kebijakan pemrosesan untuk operasi insert, update, dan delete pada tabel sumber.

   Catatan

   Operasi DML yang didukung dapat berbeda-beda tergantung sumber data. Rujuk antarmuka produk untuk melihat apakah solusi sinkronisasi tertentu mendukung kebijakan pemrosesan DML. Untuk dukungan DML saat ini berdasarkan sumber data, lihat Operasi DML dan DDL yang didukung.

4. Atur aturan pemrosesan pesan DDL.

   Anda dapat mengonfigurasi kebijakan untuk menangani operasi DDL selama sinkronisasi. Operasi DDL yang didukung dapat berbeda-beda tergantung sumber data. Untuk detailnya, lihat Operasi DML dan DDL yang didukung. Anda dapat mengonfigurasi kebijakan pemrosesan DDL untuk setiap tipe database tujuan pada halaman Data Integration > Configuration Options > Processing Policy for DDL Messages in Real-time Sync. Kebijakan pemrosesan pesan DDL yang berbeda ditunjukkan dalam tabel berikut.

   Jenis Pesan DDL	Kebijakan Pemrosesan
   Create Table	Saat DataWorks menerima pesan DDL dengan tipe yang sesuai, kebijakan pemrosesannya adalah sebagai berikut: Normal Processing: Meneruskan pesan ke sumber data tujuan. Ignore: Membuang pesan secara langsung dan tidak mengirimkannya ke sumber data tujuan. Alert: Membuang pesan secara langsung dan mencatat peringatan di log sinkronisasi real-time, menunjukkan bahwa pesan tersebut dibuang karena kesalahan eksekusi. Error: Tugas sinkronisasi real-time langsung menampilkan status error dan menghentikan eksekusi.
   Drop Table
   Add Column
   Drop Column
   Rename Table
   Rename Column
   Modify Column Type
   Truncate Table

5. Konfigurasikan resource run.

   • Menyediakan kontrol konkurensi untuk membatasi jumlah maksimum pembacaan dan penulisan konkuren untuk Data Integration.

   • Mendukung pengendalian apakah tugas sinkronisasi mentolerir dirty data.

     • Jika dirty data tidak diizinkan: Jika dirty data dihasilkan selama eksekusi tugas, tugas akan gagal dan keluar.

     • Jika dirty data diizinkan: Tugas sinkronisasi akan mengabaikan dirty data (tidak akan ditulis ke tujuan) dan melanjutkan eksekusi secara normal.

6. Klik Complete Configuration.

Anda dapat memigrasikan tugas integrasi real-time tabel tunggal dari Data Studio ke halaman Data Integration dengan mengklik Migrate to Data Integration.

1. Klik ganda tugas integrasi real-time tabel tunggal yang akan dimigrasikan untuk membuka halaman pengeditan tugas, lalu klik Migrate to Data Integration untuk memigrasikan tugas tersebut.

   

2. Klik di pojok kiri atas dan pilih All Products > Data Integration. Buka halaman Synchronization Task untuk melihat tugas integrasi real-time tabel tunggal yang berhasil dimigrasikan dalam daftar tugas.