DataWorks Data Integration menyediakan solusi andal untuk sinkronisasi database waktu nyata, yang memungkinkan Anda mereplikasi seluruh atau sebagian tabel dari database sumber ke penyimpanan data tujuan. Solusi ini menggabungkan sinkronisasi penuh dan inkremental dalam satu pendekatan terpadu guna mencapai replikasi otomatis dengan latensi rendah. Fitur ini berjalan di atas mesin komputasi waktu nyata, secara otomatis melakukan sinkronisasi data penuh awal, lalu beralih secara mulus untuk terus-menerus menangkap perubahan data inkremental (Change Data Capture (CDC)). Dengan demikian, solusi ini menyediakan pendekatan satu atap untuk skenario seperti migrasi database ke cloud secara waktu nyata dan pembangunan lapisan Operational Data Store (ODS) waktu nyata.
Skenario
Membangun lapisan ODS waktu nyata untuk gudang data Anda
Anda dapat menyinkronkan data secara waktu nyata dari database bisnis online, seperti MySQL dan Oracle, ke gudang data waktu nyata seperti Hologres dan StarRocks, sehingga menyediakan data untuk skenario bisnis seperti tampilan layar besar dan kueri ad hoc.
Replikasi database secara waktu nyata untuk pemulihan bencana
Anda dapat membuat tugas replikasi waktu nyata antara dua instans database untuk mendukung pemisahan baca/tulis, membangun instans hanya-baca, atau menerapkan pemulihan bencana waktu nyata pada database homogen maupun heterogen.
Migrasi data ke cloud secara waktu nyata
Anda dapat memigrasikan database dari pusat data on-premises ke layanan database cloud secara lancar.
Membangun data lake atau mid-end data waktu nyata
Anda dapat mengumpulkan data perubahan waktu nyata dari berbagai database bisnis ke dalam data lake, seperti Object Storage Service (OSS) atau Data Lake Formation (DLF), atau ke gudang data seperti MaxCompute atau Hologres, guna membangun mid-end data waktu nyata terpadu untuk perusahaan Anda.
Fitur inti
Fitur inti sinkronisasi database waktu nyata adalah sebagai berikut:
Fitur inti | Fitur spesifik | Deskripsi |
Sinkronisasi database antara sumber data yang berbeda | - | Sinkronisasi database mendukung migrasi data dari pusat data lokal atau platform cloud lainnya ke gudang data atau data lake seperti MaxCompute, Hologres, dan Kafka. Untuk informasi lebih lanjut, lihat Sumber data yang didukung dan solusi sinkronisasi. |
Sinkronisasi data di lingkungan jaringan kompleks | - | Sinkronisasi waktu nyata mendukung sinkronisasi data dari database ApsaraDB, pusat data on-premises, database yang dikelola sendiri di ECS, atau database non-Alibaba Cloud. Sebelum mengonfigurasi tugas, pastikan kelompok sumber daya dapat terhubung ke sumber dan tujuan. Untuk informasi lebih lanjut tentang konfigurasi, lihat Konfigurasi koneksi jaringan. |
Skenario sinkronisasi | Sinkronisasi penuh | Mendukung sinkronisasi satu kali seluruh data dari sumber ke tabel tujuan. |
Sinkronisasi inkremental | Mendukung penangkapan data streaming secara waktu nyata, seperti dari antrian pesan atau log CDC, dan menuliskannya ke tabel tujuan atau partisi tertentu. | |
Sinkronisasi penuh dan inkremental |
| |
Konfigurasi tugas | Sinkronisasi tabel batch | Mendukung sinkronisasi semua tabel dalam sebuah database. Anda juga dapat memilih tabel tertentu untuk disinkronkan dengan memilihnya secara langsung atau mengonfigurasi aturan filter. |
Pembuatan tabel otomatis | Konfigurasi tunggal dapat memproses ratusan tabel di database sumber. Sistem secara otomatis membuat skema tabel di tujuan tanpa intervensi manual. | |
Pemetaan fleksibel | Mendukung konvensi penamaan kustom untuk database dan tabel tujuan. Mendukung pemetaan kustom tipe bidang antara sumber dan tujuan agar sesuai dengan model struktur data tujuan. | |
Deteksi perubahan DDL (didukung untuk beberapa tautan sinkronisasi) | Saat skema tabel sumber berubah, seperti pembuatan atau penghapusan tabel atau kolom, Anda dapat mengonfigurasi tugas sinkronisasi untuk menggunakan salah satu kebijakan tanggapan berikut:
| |
Konfigurasi aturan DML | Pemrosesan pesan DML digunakan untuk filtering dan kontrol detail halus terhadap data perubahan ( | |
Partisi dinamis | Jika tabel tujuan merupakan tabel partisi, partisi dinamis didukung berdasarkan bidang sumber atau waktu perubahan event sumber. Penting Perhatikan bahwa terlalu banyak partisi dapat memengaruhi efisiensi sinkronisasi. Jika lebih dari 1.000 partisi baru dibuat dalam satu hari, pembuatan partisi gagal dan tugas dihentikan. | |
Tugas Operasi dan Pemeliharaan | Intervensi online | Mendukung unggah yang dapat dilanjutkan. Jika tugas terganggu, tugas dapat dilanjutkan dari offset waktu tertentu untuk memastikan tidak ada data yang hilang. Mendukung eksekusi ulang untuk mengisi kembali data, memperbaiki pengecualian, atau memvalidasi perubahan logika. Hal ini memastikan konsistensi data dan kelangsungan bisnis. |
Pemantauan dan notifikasi | Mendukung aturan pemantauan untuk latensi bisnis, status tugas, failover, dan notifikasi DDL. Juga mendukung notifikasi saat aturan dipicu. | |
Optimasi sumber daya | DataWorks Data Integration menggunakan kelompok sumber daya Serverless untuk menyediakan skalabilitas elastis di tingkat tugas. Anda juga dapat mengonfigurasi kebijakan elastis berbasis waktu untuk menetapkan spesifikasi resource berbeda pada tugas di waktu berbeda, seperti saat jam sibuk dan jam sepi. |
Memulai
Untuk membuat tugas sinkronisasi database waktu nyata, lihat Konfigurasi tugas sinkronisasi database waktu nyata.
Sumber data yang didukung
Sumber data sumber | Sumber data tujuan |
MaxCompute | |
AnalyticDB for MySQL (V3.0) | |
ApsaraDB for OceanBase | |
Data Lake Formation (DLF) | |
DataHub | |
Doris | |
Elasticsearch | |
Hologres | |
Kafka | |
LogHub | |
OSS | |
OSS-HDFS | |
SelectDB | |
StarRocks | |
Lindorm |