DataWorks Data Integration menyediakan solusi andal untuk sinkronisasi database waktu nyata. Fitur ini mereplikasi seluruh database atau tabel tertentu dari sumber ke penyimpanan data tujuan melalui pendekatan terpadu yang mencakup sinkronisasi penuh dan inkremental. Didukung oleh mesin komputasi waktu nyata, fitur ini secara otomatis melakukan inisialisasi awal berupa pemuatan data penuh, lalu terus-menerus menangkap perubahan data inkremental (Change Data Capture/CDC). Pendekatan ini menyederhanakan berbagai kasus penggunaan, seperti migrasi database waktu nyata ke cloud dan pembuatan Layer ODS gudang data waktu nyata.
Kasus penggunaan
-
Buat Layer ODS waktu nyata untuk gudang data Anda
Sinkronkan data secara waktu nyata dari database operasional online, seperti MySQL dan Oracle, ke gudang data waktu nyata seperti Hologres atau StarRocks. Hal ini menyediakan data terkini bagi aplikasi downstream, termasuk dasbor dan skenario kueri ad hoc.
-
Replikasi database waktu nyata untuk disaster recovery
Buat tautan replikasi waktu nyata antara dua instansiasi database. Anda dapat menggunakannya untuk pemisahan baca/tulis, membuat replika read-only, atau menerapkan Disaster Recovery (DR) waktu nyata untuk database homogen maupun heterogen.
-
Migrasi data waktu nyata ke cloud
Migrasikan database secara mulus dari pusat data lokal ke layanan database cloud.
-
Bangun Data Lake atau Platform Tengah Data waktu nyata
Kumpulkan data perubahan waktu nyata dari berbagai database operasional ke Data Lake terpusat, seperti Object Storage Service (OSS) atau Data Lake Formation (DLF), atau ke gudang data, seperti MaxCompute atau Hologres. Hal ini memungkinkan Anda membangun Platform Tengah Data waktu nyata yang terpadu untuk perusahaan Anda.
Kemampuan inti
Kemampuan inti sinkronisasi database waktu nyata adalah sebagai berikut:
|
Kemampuan inti |
Fitur |
Deskripsi |
|
Sinkronkan seluruh database antar sumber data heterogen |
- |
Sinkronisasi database waktu nyata memindahkan data dari pusat data lokal atau platform cloud lain ke Gudang Data atau Data Lake, seperti MaxCompute, Hologres, atau Kafka. Untuk informasi lebih lanjut, lihat Sumber data yang didukung dan solusi sinkronisasi. |
|
Sinkronkan data di lingkungan jaringan kompleks |
- |
Sinkronisasi waktu nyata mendukung data dari berbagai lingkungan, termasuk layanan database Alibaba Cloud, pusat data lokal, database yang dikelola sendiri di ECS, serta database dari penyedia cloud lain. Sebelum memulai, pastikan konektivitas jaringan antara Resource Group dengan sumber dan tujuan Anda. Untuk informasi lebih lanjut, lihat Konfigurasi koneksi jaringan. |
|
Skenario sinkronisasi |
Sinkronisasi penuh |
Menjalankan sinkronisasi satu kali untuk seluruh data dari sumber ke tabel tujuan. |
|
Sinkronisasi inkremental |
Menangkap data streaming secara waktu nyata dari sumber seperti antrian pesan atau log CDC, lalu menuliskannya ke tabel tujuan atau Partisi tertentu. |
|
|
Sinkronisasi penuh dan inkremental terpadu |
|
|
|
Konfigurasi tugas |
Sinkronisasi tabel batch |
Anda dapat menyinkronkan semua tabel dalam suatu database atau memilih subset tabel secara tepat menggunakan kotak centang atau mengonfigurasi aturan filter. |
|
Pembuatan tabel otomatis |
Satu konfigurasi dapat memproses ratusan tabel dalam database sumber Anda. Sistem secara otomatis membuat Table Schema yang sesuai di tujuan tanpa memerlukan intervensi manual. |
|
|
Pemetaan fleksibel |
Anda dapat menentukan konvensi penamaan kustom untuk database dan tabel tujuan. Anda juga dapat menyesuaikan pemetaan tipe data antara sumber dan tujuan agar sesuai dengan model data yang berbeda. |
|
|
DDL Change Awareness (Didukung pada jalur tertentu) |
Saat Table Schema sumber berubah (misalnya membuat atau menghapus tabel atau kolom), Anda dapat mengonfigurasi tugas sinkronisasi untuk merespons dengan salah satu cara berikut:
|
|
|
Aturan DML |
Aturan DML memberikan kontrol detail halus atas cara data perubahan ( |
|
|
Partisi dinamis |
Jika tabel tujuan dipartisi, Anda dapat mengaktifkan partisi dinamis berdasarkan bidang sumber atau timestamp event sumber. Penting
Membuat jumlah partisi yang berlebihan dapat menurunkan performa sinkronisasi. Jika lebih dari 1.000 partisi baru dibuat dalam satu hari, pembuatan partisi akan gagal dan tugas dihentikan. |
|
|
O&M tugas |
Intervensi online |
Pemulihan dari checkpoint memungkinkan tugas dilanjutkan dari titik waktu tertentu setelah gangguan, sehingga mencegah kehilangan data. Anda juga dapat menjalankan ulang tugas untuk pengisian ulang data, penanganan eksepsi, dan validasi logika guna menjaga konsistensi data dan kelangsungan bisnis. |
|
Pemantauan dan peringatan |
Anda dapat mengonfigurasi aturan pemantauan untuk latensi bisnis, status tugas, event failover, dan notifikasi DDL. Peringatan akan dikirim saat aturan tersebut dipicu. |
|
|
Optimalisasi resource |
DataWorks Data Integration menyediakan Elastic Scaling tingkat tugas berdasarkan Serverless Resource Group. Selain itu, Anda dapat mengonfigurasi kebijakan elastisitas berbasis waktu untuk secara otomatis menyesuaikan spesifikasi resource tugas pada periode berbeda, seperti jam sibuk dan jam tidak sibuk. |
Memulai
Untuk membuat tugas sinkronisasi database waktu nyata, lihat Konfigurasi tugas sinkronisasi database waktu nyata.
Sumber data yang didukung
|
Sumber |
Tujuan |
|
MaxCompute |
|
|
AnalyticDB for MySQL (V3.0) |
|
|
ApsaraDB for OceanBase |
|
|
Data Lake Formation (DLF) |
|
|
DataHub |
|
|
Doris |
|
|
Elasticsearch |
|
|
Hologres |
|
|
Kafka |
|
|
LogHub |
|
Object Storage Service (OSS) |
|
|
OSS-HDFS |
|
|
SelectDB |
|
|
StarRocks |
|
|
Lindorm |