DataWorks：Tugas sinkronisasi real-time tabel tunggal

Kemampuan

Deskripsi

Sinkronisasi data antar berbagai sumber data

Sinkronisasi real-time mendukung berbagai macam sumber data. Anda dapat menggabungkan berbagai sumber data input dan output untuk membuat pipeline sinkronisasi data. Untuk informasi lebih lanjut, lihat Sumber data dan sinkronisasi.

Sinkronisasi data di lingkungan jaringan kompleks

Sinkronisasi real-time mendukung transfer data dari berbagai lingkungan, seperti layanan database Alibaba Cloud, pusat data on-premises (IDC), database yang dikelola sendiri pada Elastic Compute Service (ECS), serta database cloud pihak ketiga. Sebelum memulai, pastikan kelompok sumber daya Anda dapat terhubung ke sumber dan tujuan. Untuk detail konfigurasi, lihat Solusi konektivitas jaringan.

Skenario sinkronisasi

Sinkronisasi real-time mendukung penyinkronan data dari satu tabel ke tabel lainnya serta konsolidasi data inkremental dari tabel-tabel ter-shard (sharding) ke dalam satu tabel tujuan.

• Data Development (Lama): Konfigurasikan tugas sinkronisasi ETL tabel tunggal menggunakan antarmuka drag-and-drop. Mode ini mendukung fitur pemrosesan data seperti penyaringan data, penggantian string, dan penyamaran data.

• Data Integration & Data Development (Baru): Konfigurasikan tugas sinkronisasi ETL tabel tunggal menggunakan antarmuka berbasis wizard. Selain beragam fitur pemrosesan data, mode ini juga mendukung fungsi lanjutan seperti pengambilan sampel data, trial run, dan parameter lanjutan.

Konfigurasi tugas sinkronisasi real-time

Tugas sinkronisasi real-time mendukung kemampuan konfigurasi berikut. Tidak diperlukan coding, dan Anda dapat melakukan ETL tabel tunggal hanya dengan konfigurasi tugas yang sederhana. Untuk informasi lebih lanjut, lihat Konfigurasikan tugas sinkronisasi real-time tabel tunggal.

Sinkronisasi real-time tabel tunggal:

• Mode konfigurasi: Gunakan pendekatan low-code melalui antarmuka grafis drag-and-drop atau berbasis wizard. Tidak diperlukan coding, sehingga mudah digunakan.

• Pemetaan bidang: Mendukung pemetaan berbasis nama dan posisi, serta hubungan bidang kustom. Jika suatu bidang sumber tidak memiliki padanan di tabel tujuan, Anda dapat menentukan kebijakan penanganan dinamis untuk menambahkan kolom baru, mengabaikan bidang tersebut, atau melaporkan error. Tugas sinkronisasi juga memungkinkan Anda menetapkan nilai konstanta, variabel, dan fungsi secara dinamis ke bidang tujuan.

• Pemrosesan data: Mendukung pemrosesan data sumber menggunakan fitur seperti data filtering, string replacement, data masking, dan JSON parsing sebelum menulisnya ke tujuan.

• Debugging: Anda dapat mengambil sampel data dari sumber dan melihat pratinjau hasil antara pada setiap langkah pemrosesan. Gunakan fitur Trial Run untuk mensimulasikan output data akhir. trial run tidak menulis data ke tabel tujuan, sehingga Anda dapat melakukan debugging tanpa memengaruhi data aktual Anda.

O&M tugas sinkronisasi real-time

Anda dapat mengatur pemantauan dan notifikasi untuk tugas sinkronisasi.

• Mendukung melanjutkan dari breakpoint. Jika tugas terganggu atau data hilang akibat anomali, Anda dapat melanjutkan tugas dari titik waktu tertentu untuk memastikan integritas data.

• Anda dapat mengatur pemantauan dan notifikasi untuk latensi layanan, failover, kebijakan DDL, dan pemeriksaan heartbeat. Untuk informasi lebih lanjut, lihat O&M untuk tugas sinkronisasi real-time.

• Notifikasi dapat dikirim melalui email, SMS, telepon, dan DingTalk, membantu Anda mendeteksi dan menangani exception secara cepat.

• Menyediakan kontrol alert fatigue. Untuk menghindari banjir notifikasi dalam periode singkat, Anda dapat mengonfigurasi aturan agar hanya mengirim satu notifikasi untuk masalah tertentu dalam interval waktu yang ditentukan.

• DataWorks mendukung pemeriksaan heartbeat. Notifikasi terkait akan otomatis diaktifkan atau dinonaktifkan saat tugas dimulai atau dihentikan. Jika Anda menonaktifkan notifikasi secara manual, status tersebut tetap nonaktif.