DataWorks：Tugas sinkronisasi real-time untuk tabel tunggal

Kemampuan

Deskripsi

Sinkronisasi data antara berbagai sumber data

Sinkronisasi real-time mendukung berbagai sumber data. Anda dapat menggabungkan sumber data input dan output yang berbeda untuk membuat tautan sinkronisasi. Untuk informasi lebih lanjut, lihat Sumber data yang didukung dan solusi sinkronisasi.

Sinkronisasi data di lingkungan jaringan kompleks

Sinkronisasi real-time mendukung sinkronisasi data di berbagai lingkungan, seperti database Alibaba Cloud, pusat data lokal, database yang dikelola sendiri pada instance ECS, atau database di luar Alibaba Cloud. Sebelum mengonfigurasi tugas, pastikan kelompok sumber daya dapat terhubung ke sumber dan tujuan. Untuk informasi lebih lanjut tentang konfigurasi, lihat Solusi konektivitas jaringan.

Skenario sinkronisasi

Sinkronisasi real-time mendukung penyinkronan data secara real-time dari satu tabel ke satu tabel tujuan, serta penyinkronan data inkremental dari database dan tabel terpartisi (sharded) ke satu tabel tujuan.

• Sinkronisasi inkremental real-time untuk satu tabel

  • Data Studio: Anda dapat mengonfigurasi sinkronisasi ekstrak, transformasi, dan muat (ETL) dari satu tabel ke satu tabel menggunakan antarmuka seret-dan-lepas. Metode ini mendukung fitur pemrosesan data seperti penyaringan data, penggantian string, dan penyamaran data.

  • Data Integration: Anda dapat mengonfigurasi sinkronisasi ETL dari satu tabel ke satu tabel menggunakan wizard. Selain berbagai fitur pemrosesan data, Data Integration juga mendukung fitur lanjutan seperti pengambilan sampel data, simulasi jalankan, dan pengaturan parameter lanjutan.

• Sinkronisasi penuh dan inkremental real-time dari database dan tabel terpartisi ke satu tabel

  Saat ini, fitur ini hanya didukung untuk menyinkronkan data dari MySQL dan PolarDB ke MaxCompute. Sinkronisasi partisi dapat menggabungkan tabel-tabel yang memiliki skema sama dari sumber menjadi satu tabel logis dan menuliskan datanya ke satu tabel tujuan.

Konfigurasi tugas sinkronisasi real-time

Fitur-fitur berikut didukung saat Anda mengonfigurasi tugas sinkronisasi real-time. Anda dapat melakukan ETL real-time pada data dari satu tabel menggunakan konfigurasi sederhana tanpa menulis kode. Untuk informasi lebih lanjut, lihat Mengonfigurasi tugas sinkronisasi real-time untuk satu tabel dan Menyinkronkan data dari database dan tabel terpartisi ke MaxCompute.

Sinkronisasi real-time untuk satu tabel:

• Metode konfigurasi: Anda dapat menggunakan antarmuka pengguna grafis (GUI) seret-dan-lepas atau wizard untuk pengembangan berbasis low-code tanpa perlu menulis kode, sehingga memudahkan pengguna pemula untuk memulai.

• Pemetaan bidang: Anda dapat memetakan bidang dengan nama atau urutan yang sama, serta menyesuaikan hubungan bidang secara manual. Jika bidang tabel leluhur tidak memiliki padanan di tabel tujuan, Anda dapat menentukan kebijakan pemrosesan bidang dinamis untuk menambahkan kolom, mengabaikan bidang tersebut, atau melaporkan kesalahan. Tugas sinkronisasi juga memungkinkan Anda memberikan nilai dinamis ke bidang tujuan menggunakan konstanta, variabel, dan fungsi.

• Pemrosesan data: Anda dapat memproses data sumber menggunakan fitur-fitur seperti Data Filtering, String Replace, Data Masking, dan JSON Parsing. Data yang telah diproses kemudian dituliskan ke database tujuan.

• Debugging kode: Anda dapat mengambil sampel data dari sumber data dan melihat hasil antara dari setiap langkah pemrosesan data. Fitur Simulation memungkinkan Anda mensimulasikan output data akhir tanpa menuliskannya ke tabel tujuan, sehingga proses debugging tidak memengaruhi data produksi.

Sinkronisasi real-time untuk database dan tabel terpartisi:

• Pengaturan aturan tabel logis: Anda dapat menggunakan ekspresi reguler untuk menentukan cakupan pencarian dan integrasi tabel sumber. Tabel-tabel tersebut kemudian digunakan sebagai sumber terpartisi dan dikonfigurasi sebagai tabel logis. Anda juga dapat mengatur pemetaan antara tabel logis dan tabel tujuan.

• Pengaturan aturan DDL dan DML: Anda dapat mengatur aturan tentang bagaimana perubahan Data Definition Language (DDL) dan Data Manipulation Language (DML) di sumber memengaruhi tabel tujuan, serta memilih tanggapan tertentu untuk tabel tujuan berdasarkan jenis perubahan.

O&M tugas sinkronisasi real-time

Anda dapat memantau tugas sinkronisasi dan mengonfigurasi peringatan.

• Anda dapat menggunakan fitur melanjutkan dari titik henti. Jika tugas terganggu atau data hilang karena anomali, Anda dapat menentukan titik waktu untuk melanjutkan tugas tersebut guna menjaga integritas data.

• Anda dapat mengonfigurasi pemantauan dan peringatan untuk latensi bisnis, failover, kebijakan DDL, dan pemeriksaan heartbeat. Untuk informasi lebih lanjut, lihat O&M tugas sinkronisasi real-time.

• DataWorks dapat mengirim pemberitahuan peringatan kepada penerima yang ditentukan melalui email, pesan teks, panggilan telepon, atau DingTalk untuk membantu Anda segera mengidentifikasi dan menangani pengecualian tugas.

• Kontrol kelelahan peringatan didukung. Untuk menghindari pembuatan banyak peringatan dalam periode singkat, DataWorks memungkinkan Anda menetapkan aturan agar hanya mengirim satu pemberitahuan peringatan dalam interval tertentu.

• Dukungan deteksi heartbeat. Fitur peringatan heartbeat secara otomatis diaktifkan atau dinonaktifkan saat tugas dimulai atau dihentikan. Jika Anda menonaktifkan fitur ini secara manual, pengaturan tersebut akan dipertahankan.