DataWorks:Kemampuan sinkronisasi real-time tabel tunggal

Kemampuan

Deskripsi

Sinkronisasi data lintas berbagai sumber data

Sinkronisasi real-time mendukung berbagai sumber data. Anda dapat menggabungkan sumber dan tujuan data yang berbeda untuk membuat pipeline sinkronisasi. Untuk informasi lebih lanjut, lihat Sumber data dan solusi sinkronisasi yang didukung.

Sinkronisasi data di lingkungan jaringan kompleks

Sinkronisasi real-time mendukung transfer data dari database Alibaba Cloud, pusat data lokal, database yang dikelola sendiri pada Instance ECS, serta database di luar Alibaba Cloud. Pastikan network connectivity tersedia antara kelompok sumber daya Anda dengan sumber dan tujuan sebelum memulai. Untuk detail konfigurasi, lihat Solusi network connectivity.

Skenario sinkronisasi

Sinkronisasi real-time mendukung sinkronisasi satu tabel ke tabel tujuan dan konsolidasi data inkremental dari database dan tabel yang di-shard ke dalam satu tabel tujuan.

• Data Integration & Data Studio (versi baru): Konfigurasi berbasis wizard untuk sinkronisasi ETL satu-tabel-ke-satu-tabel. Selain fitur pemrosesan data yang lengkap, juga mendukung fitur lanjutan seperti pengambilan sampel data, dry run, dan parameter lanjutan.

• Data Studio (legacy): Konfigurasi drag-and-drop untuk sinkronisasi ETL satu-tabel-ke-satu-tabel. Mendukung fitur pemrosesan data seperti penyaringan data, penggantian string, dan penyamaran data.

Konfigurasi tugas sinkronisasi real-time

Kemampuan berikut didukung saat Anda mengonfigurasi tugas sinkronisasi real-time. Anda dapat mengumpulkan data real-time ETL tabel tunggal melalui konfigurasi tugas yang sederhana tanpa menulis kode. Untuk informasi lebih lanjut, lihat Konfigurasi tugas sinkronisasi real-time tabel tunggal.

Sinkronisasi real-time tabel tunggal:

• Metode konfigurasi: Mendukung pengembangan low-code berbasis grafis drag-and-drop atau wizard. Tidak diperlukan coding, sehingga mudah digunakan oleh pemula.

• Pemetaan bidang: Mendukung pemetaan nama sama dan pemetaan baris sama, serta relasi bidang kustom. Jika bidang sumber tidak memiliki bidang yang sesuai di tabel tujuan, Anda dapat menentukan kebijakan penanganan bidang dinamis untuk menambah kolom, mengabaikan, atau melaporkan error. Tugas sinkronisasi juga menyediakan penugasan dinamis constants, variables, dan functions ke bidang tujuan.

• Pemrosesan data: Mendukung pemrosesan data sumber dengan Data Filtering, Replace String, Data Masking, dan JSON Parsing, lalu mengeluarkan data yang telah diproses ke database tujuan.

• Debugging kode: Mendukung pengambilan sampel data dari sumber data dan menampilkan hasil antara pada setiap langkah pemrosesan data. Anda dapat menggunakan Dry Run untuk mensimulasikan output data akhir. Output data selama Dry Run tidak ditulis ke tabel tujuan, sehingga Anda tidak perlu khawatir tentang dampak debugging terhadap data aktual.

O&M tugas sinkronisasi real-time

Mendukung konfigurasi notifikasi pemantauan untuk tugas sinkronisasi.

• Mendukung checkpoint-based resumption. Saat tugas terganggu atau data hilang akibat fluktuasi tak terduga, Anda dapat menentukan checkpoint yang sesuai untuk memastikan integritas data.

• Mendukung konfigurasi notifikasi pemantauan untuk latensi bisnis, failover, kebijakan DDL, dan pemeriksaan heartbeat. Untuk informasi lebih lanjut, lihat Konfigurasi notifikasi pemantauan untuk tugas sinkronisasi real-time.

• Notifikasi alert dikirim ke penerima melalui email, pesan teks, panggilan telepon, dan pesan DingTalk, sehingga Anda dapat mendeteksi dan menangani exception tugas secara tepat waktu.

• Mendukung kontrol kelelahan alert. Untuk mencegah banyaknya alert dalam waktu singkat, DataWorks memungkinkan Anda mengonfigurasi aturan agar hanya satu alert dikirim dalam interval waktu tertentu.

• Mendukung deteksi heartbeat, yang secara otomatis mengaktifkan atau menonaktifkan notifikasi heartbeat saat tugas dimulai atau dihentikan. Jika Anda menonaktifkan fitur ini secara manual, status nonaktif akan tetap berlaku.

DI Agent

Gunakan DI Agent untuk membuat dan mengelola tugas sinkronisasi real-time tabel tunggal melalui percakapan. Alih-alih mengisi formulir konfigurasi bidang demi bidang, Anda cukup menggambarkan kebutuhan sinkronisasi dalam bahasa alami, dan Agent secara otomatis menangani identifikasi sumber data, pemetaan bidang, penugasan kelompok sumber daya, serta konfigurasi kebijakan penjadwalan. Agent ini juga menyediakan kemampuan O&M seperti diagnostik cerdas dan inspeksi berkala. Untuk informasi lebih lanjut tentang DI Agent, lihat Ikhtisar DI Agent.