DataWorks Data Integration menyediakan solusi andal untuk sinkronisasi database waktu nyata, yang memungkinkan Anda mereplikasi seluruh database atau tabel tertentu dari sumber ke tujuan melalui proses terpadu berlatensi rendah dengan menggabungkan sinkronisasi penuh dan inkremental. Didukung oleh mesin komputasi waktu nyata, fitur ini mengotomatiskan pemuatan data awal secara penuh dan beralih secara mulus ke Change Data Capture (CDC) berkelanjutan, sehingga menyediakan solusi satu atap untuk skenario seperti migrasi database waktu nyata ke cloud dan pembangunan lapisan Operational Data Store (ODS) pada gudang data waktu nyata.
Kasus penggunaan
Membangun lapisan ODS gudang data waktu nyata
Menyinkronkan data secara waktu nyata dari database online transaction processing (OLTP), seperti MySQL atau Oracle, ke gudang data waktu nyata seperti Hologres atau StarRocks guna mendukung dasbor business intelligence (BI), kueri ad hoc, dan aplikasi lainnya.
Mengaktifkan replikasi dan pemulihan bencana database waktu nyata
Membuat tugas replikasi waktu nyata antara dua instansiasi basis data untuk keperluan pemisahan baca/tulis, pembuatan instansi hanya baca, atau penerapan pemulihan bencana waktu nyata pada database homogen maupun heterogen.
Menjalankan migrasi data waktu nyata ke cloud
Memungkinkan migrasi lancar database dari pusat data lokal ke layanan database cloud.
Membangun data lake waktu nyata atau platform data tengah
Mengumpulkan data perubahan waktu nyata dari berbagai database bisnis ke dalam data lake, seperti Object Storage Service (OSS) atau Data Lake Formation (DLF), atau gudang data seperti MaxCompute atau Hologres, guna membangun Platform Data Tengah waktu nyata terpadu untuk perusahaan Anda.
Fitur inti
Fitur inti sinkronisasi database waktu nyata meliputi:
Fitur inti | Fitur spesifik | Deskripsi |
Sinkronisasi database antar sumber data heterogen | - | Anda dapat menyinkronkan seluruh database dari pusat data lokal atau cloud pihak ketiga ke gudang data atau data lake, seperti MaxCompute, Hologres, atau Kafka. Untuk informasi lebih lanjut, lihat Sumber data yang didukung dan solusi sinkronisasi. |
Sinkronisasi data di lingkungan jaringan kompleks | - | Sinkronisasi waktu nyata mendukung database Alibaba Cloud, database di pusat data lokal, database yang dikelola sendiri di ECS, dan database cloud pihak ketiga. Sebelum memulai, pastikan kelompok sumber daya dapat terhubung ke sumber dan tujuan. Untuk informasi lebih lanjut, lihat Konfigurasi koneksi jaringan. |
Skenario sinkronisasi | Sinkronisasi penuh | Menyinkronkan seluruh data dari sumber ke tabel tujuan dalam satu operasi. |
Sinkronisasi inkremental | Menangkap data streaming dari sumber seperti antrian pesan atau log CDC dan menuliskan data tersebut ke tabel tujuan atau partisi tertentu secara waktu nyata. | |
Sinkronisasi penuh dan inkremental |
| |
Konfigurasi tugas | Sinkronisasi tabel batch | Anda dapat menyinkronkan semua tabel dalam database atau memilih tabel tertentu menggunakan kotak centang atau mengonfigurasi aturan filter. |
Pembuatan tabel otomatis | Konfigurasi tugas tunggal dapat menangani ratusan tabel di database sumber. Sistem secara otomatis membuat skema tabel di tujuan, sehingga tidak memerlukan intervensi manual. | |
Pemetaan fleksibel | Anda dapat menentukan aturan penamaan kustom untuk database dan tabel tujuan. Anda juga dapat menentukan pemetaan kustom untuk tipe data bidang antara sumber dan tujuan agar sesuai dengan model data tujuan. | |
Kesadaran perubahan DDL (Didukung oleh beberapa tugas) | Saat skema tabel sumber berubah (misalnya, tabel atau kolom dibuat atau dihapus), Anda dapat mengonfigurasi tugas sinkronisasi untuk merespons dengan salah satu kebijakan berikut:
| |
Konfigurasi aturan DML | Anda dapat menggunakan pemrosesan pesan DML untuk memfilter dan mengontrol data perubahan yang ditangkap dari sumber, seperti operasi | |
Partisi dinamis | Jika tabel tujuan merupakan tabel partisi, Anda dapat mengaktifkan partisi dinamis berdasarkan bidang sumber atau waktu event dari perubahan sumber. Penting Pembuatan partisi yang terlalu banyak dapat memengaruhi kinerja sinkronisasi. Jika lebih dari 1.000 partisi baru ditambahkan dalam satu hari, pembuatan partisi gagal dan tugas dihentikan. | |
O&M tugas | Intervensi online | Tugas mendukung pelanjutan dari checkpoint, memungkinkannya dilanjutkan dari titik waktu tertentu setelah gangguan untuk memastikan tidak ada data yang hilang. Anda juga dapat menjalankan ulang tugas untuk mengisi kembali data, memperbaiki anomali, atau memvalidasi perubahan logika, sehingga menjamin konsistensi data dan kelangsungan bisnis. |
Pemantauan dan peringatan | Anda dapat menentukan aturan pemantauan untuk latensi bisnis, status tugas, failover, dan notifikasi DDL serta mengonfigurasi peringatan yang dipicu berdasarkan aturan tersebut. | |
Optimalisasi resource | DataWorks Data Integration didasarkan pada kelompok sumber daya Serverless dan menyediakan kemampuan skalabilitas elastis di tingkat tugas. Anda juga dapat mengonfigurasi kebijakan elastis berbasis waktu untuk menetapkan spesifikasi resource berbeda bagi tugas pada periode berbeda, seperti jam sibuk dan jam tidak sibuk. |
Memulai
Untuk membuat tugas sinkronisasi database waktu nyata, lihat Konfigurasi tugas sinkronisasi database waktu nyata.
Sumber data yang didukung
Sumber | Tujuan |
MaxCompute | |
AnalyticDB for MySQL (V3.0) | |
ApsaraDB for OceanBase | |
Data Lake Formation (DLF) | |
DataHub | |
Doris | |
Elasticsearch | |
Hologres | |
Kafka | |
| LogHub |
Object Storage Service (OSS) | |
OSS-HDFS | |
SelectDB | |
StarRocks | |
Lindorm |