DataWorks:Sinkronisasi real-time tabel tunggal

Capability

Description

Data synchronization across various data sources

Sinkronisasi real-time mendukung berbagai jenis sumber data. Anda dapat menggabungkan berbagai sumber dan tujuan data untuk membangun pipeline sinkronisasi. Untuk informasi lebih lanjut, lihat Sumber data yang didukung dan solusi sinkronisasi.

Data synchronization in complex network environments

Sinkronisasi real-time mendukung berbagai lingkungan, termasuk database Alibaba Cloud, IDC on-premises, database yang dikelola sendiri di ECS, serta database dari penyedia cloud lainnya. Sebelum memulai, pastikan Network Connectivity antara Resource Group dengan titik akhir sumber dan tujuan. Untuk detail konfigurasi, lihat Solusi konektivitas jaringan.

Use cases

Sinkronisasi real-time mendukung baik sinkronisasi satu-tabel-ke-satu-tabel maupun sinkronisasi data inkremental dari sumber ter-shard ke satu tabel tujuan.

• Data Integration & Data Studio (versi baru): Menyediakan konfigurasi berbasis wizard untuk sinkronisasi ETL tabel tunggal. Metode ini menawarkan kemampuan pemrosesan data yang kaya serta fitur-fitur lanjutan seperti pengambilan sampel data, Simulation Run, dan pengaturan parameter lanjutan.

• Data Studio (legacy): Menyediakan antarmuka seret-dan-lepas untuk mengonfigurasi sinkronisasi ETL tabel tunggal. Opsi ini mendukung fitur pemrosesan data seperti Data Filtering, String Replacement, dan Data Masking.

Real-time synchronization task configuration

Saat mengonfigurasi tugas sinkronisasi real-time, Anda dapat menggunakan kemampuan berikut untuk melakukan ETL real-time tanpa kode pada data tabel tunggal. Untuk informasi lebih lanjut, lihat Konfigurasi tugas sinkronisasi real-time di Data Integration.

Sinkronisasi Real-time untuk Tabel Tunggal:

• Metode konfigurasi: Menyediakan antarmuka grafis drag-and-drop atau wizard untuk pengembangan low-code. Pendekatan tanpa kode ini memudahkan pengguna baru untuk memulai.

• Field Mapping: Mendukung Same-name Mapping, pemetaan posisional, dan relasi bidang kustom. Untuk bidang sumber yang tidak memiliki bidang tujuan yang sesuai, Anda dapat mengonfigurasi kebijakan untuk menambahkan kolom baru, mengabaikan bidang tersebut, atau melaporkan error. Anda juga dapat memberikan nilai secara dinamis ke bidang tujuan dengan menggunakan Constants, Variables, dan Functions.

• Data processing: Mendukung fitur-fitur untuk memproses data sumber, seperti Data Filtering, String Replacement, Data Masking, dan JSON Parsing, sebelum data ditulis ke database tujuan.

• Runtime Debugging: Mendukung pengambilan sampel data dari sumber dan menyediakan hasil antara pada setiap langkah pemrosesan. Anda dapat menggunakan fitur Simulation Run untuk melihat pratinjau output data akhir. Data yang dihasilkan selama Simulation Run tidak ditulis ke tabel tujuan, sehingga tidak memengaruhi data produksi Anda.

Task O&M for real-time synchronization

Anda dapat mengonfigurasi Pemantauan Peringatan untuk tugas sinkronisasi.

• Mendukung Breakpoint Resumption. Jika tugas terganggu oleh exception, Anda dapat melanjutkan dari checkpoint tertentu untuk memastikan integritas data.

• Anda dapat mengonfigurasi Pemantauan Peringatan untuk latensi bisnis, failover, kebijakan DDL, dan Heartbeat Detection. Untuk informasi lebih lanjut, lihat O&M tugas sinkronisasi real-time.

• Notifikasi alarm juga dikirimkan kepada penerima alarm melalui email, SMS, panggilan telepon, dan DingTalk, sehingga Anda dapat segera mendeteksi dan menangani anomali tugas.

• Mendukung pengendalian alert fatigue. Anda dapat mengonfigurasi aturan untuk membatasi notifikasi hanya satu kali dalam interval tertentu, mencegah terlalu banyak peringatan.

• Mendukung Heartbeat Detection. Fitur peringatan heartbeat secara otomatis diaktifkan atau dinonaktifkan saat tugas dimulai atau dihentikan. Perubahan manual pada pengaturan ini akan dipertahankan.