DataWorks Data Integration memungkinkan Anda melakukan migrasi seluruh atau sebagian tabel dari database sumber ke penyimpanan tujuan melalui sinkronisasi penuh atau inkremental, baik satu kali maupun berulang sesuai jadwal. Fitur ini secara otomatis membuat skema tabel tujuan sehingga tidak perlu mengonfigurasi tugas terpisah untuk setiap tabel.
Kasus penggunaan
Migrasi data dan adopsi cloud
Migrasikan database, seperti MySQL dan Oracle, dari pusat data on-premises ke gudang data atau data lake di cloud.
Migrasikan data antar platform cloud atau sistem database yang berbeda.
Pembangunan gudang data atau data lake
Lakukan sinkronisasi berkala—baik penuh maupun inkremental—data dari database OLTP ke lapisan ODS pada gudang data atau data lake untuk analitik downstream.
Backup data dan disaster recovery
Lakukan backup berkala dataset lengkap dari database produksi ke media penyimpanan berbiaya efektif, seperti HDFS atau OSS.
Terapkan solusi disaster recovery lintas wilayah (cross-region) atau lintas zona ketersediaan (cross-availability-zone).
Kemampuan inti
Tabel berikut menjelaskan kemampuan inti tersebut.
Kemampuan inti | Fitur | Deskripsi |
Sinkronisasi lintas sumber data heterogen | - | Sinkronisasi database batch mendukung migrasi data dari pusat data on-premises atau platform cloud lain ke gudang data atau data lake seperti MaxCompute, Hologres, dan OSS. Untuk informasi lebih lanjut, lihat Sumber data dan tujuan yang didukung. |
Sinkronisasi data di lingkungan jaringan kompleks | - | Sinkronisasi offline mendukung sinkronisasi data antara database Alibaba Cloud, database IDC on-premises, database yang dikelola sendiri pada instance ECS, dan database non-Alibaba Cloud. Sebelum konfigurasi, pastikan kelompok sumber daya memiliki konektivitas jaringan dengan sumber dan tujuan. Untuk informasi lebih lanjut, lihat Konfigurasi konektivitas jaringan. |
Skenario sinkronisasi | Full synchronization | Mendukung sinkronisasi data penuh satu kali atau berulang ke tabel tujuan atau partisi tertentu. |
Incremental synchronization | Mendukung sinkronisasi data inkremental satu kali atau berulang berdasarkan waktu, partisi, atau primary key. | |
Combined full and incremental synchronization | Jalankan pertama kali: Secara otomatis melakukan sinkronisasi data penuh. Jalankan berikutnya: Secara otomatis beralih ke sinkronisasi data inkremental berulang ke partisi tertentu. | |
Database and table mapping | Batch table synchronization | Anda dapat menyinkronkan semua tabel dalam sebuah database, atau memilih tabel tertentu dengan memilihnya secara manual atau mengonfigurasi aturan filter. |
Automatic table creation | Dengan satu konfigurasi, Anda dapat memproses ratusan tabel dari database sumber. Sistem secara otomatis membuat skema tabel di tujuan tanpa intervensi manual. | |
Flexible mapping | Mendukung aturan penamaan kustom untuk database dan tabel tujuan, serta pemetaan tipe field kustom antara sumber dan tujuan untuk secara fleksibel menyesuaikan model struktur data tujuan. | |
Scheduling and dependency management | Schedule | Mendukung berbagai interval penjadwalan, seperti menit, jam, hari, minggu, bulan, dan tahun. Jika Anda perlu menyinkronkan banyak tabel sekaligus, kami menyarankan agar Anda mengonfigurasi jadwal untuk menjalankan tugas secara batch guna mencegah akumulasi tugas dan resource contention. |
Task dependencies | Baik batch database task maupun setiap subtask tingkat tabel dapat berfungsi sebagai dependensi hulu di DataWorks, sehingga tugas pengembangan lain dapat bergantung padanya. Ketika tugas sinkronisasi untuk tabel tertentu selesai, tugas pengembangan downstream-nya akan dipicu secara otomatis. | |
Parameter support | Mendukung parameter penjadwalan untuk sinkronisasi inkremental. Misalnya, Anda dapat menggunakan ${bizdate} untuk merepresentasikan tanggal bisnis. | |
Advanced parameters | Dirty data settings | Dirty data mengacu pada catatan data yang gagal ditulis ke tujuan karena pengecualian seperti konflik tipe atau constraint violation. Nilai default adalah false, artinya dirty data tidak diizinkan. Jika terjadi dirty data, tugas akan gagal. Jika Anda mengatur parameter ini ke true, seluruh dirty data akan diabaikan. |
Reader and writer settings | Mendukung konfigurasi jumlah maksimum koneksi untuk sumber data reader dan writer secara terpisah, serta mendefinisikan kebijakan pembersihan tujuan sebelum data ditulis. | |
Concurrency and throttling |
| |
OM | Online intervention | Mendukung operasi intervensi online seperti rerun, backfill, mark as successful, dan freeze/unfreeze. |
Monitoring and alerting | Mendukung konfigurasi aturan pemantauan berdasarkan garis dasar, status tugas, dan durasi berjalan, serta mendukung peringatan untuk aturan yang terpicu. | |
Data quality | Setelah tugas dikomit dan dideploy, Anda dapat mengonfigurasi aturan pemantauan kualitas data untuk tabel tujuan di Operation Center. Generasi otomatis berbasis AI dan konfigurasi manual keduanya didukung. Saat ini, hanya jenis database tertentu yang mendukung pemantauan aturan kualitas. Untuk informasi lebih lanjut, lihat Ikhtisar Kualitas Data. | |
DI Agent | AI Native | DI Agent adalah vertical capability set dari Data Agent untuk skenario integrasi data. Fitur ini mencakup enam kemampuan: konfigurasi tugas percakapan, pemrosesan data multimodal, ChatDB data Q&A, diagnostik cerdas, inspeksi periodik, dan integrasi saluran IM. |
Memulai
Untuk membuat tugas sinkronisasi database batch, lihat Buat tugas sinkronisasi database batch.
Untuk membuat dan mengelola tugas sinkronisasi database batch melalui percakapan bahasa alami, Anda dapat menggunakan kemampuan AI Native Data Integration (DI Agent). Untuk informasi lebih lanjut, lihat Gunakan DI Agent.
Sumber data yang didukung
DataWorks mendukung migrasi massal data dari berbagai sumber data ke tujuan seperti MaxCompute, OSS, dan Elasticsearch. Jenis sumber data berikut didukung.
Source data source | Destination data source |
MaxCompute | |
Data Lake Formation | |
Hive | |
Hologres | |
OSS | |
OSS-HDFS | |
Elasticsearch | |
StarRocks | |
MySQL |