DataWorks Data Integration menyederhanakan migrasi database penuh melalui sinkronisasi batch otomatis. Pindahkan semua atau tabel yang dipilih dari sumber ke tujuan, baik sesuai permintaan maupun berdasarkan jadwal, dengan opsi sinkronisasi penuh atau inkremental. Skema tabel dibuat secara otomatis di tujuan.
Casus penggunaan
Migrasi Data dan Adopsi Cloud
Migrasikan database lokal seperti MySQL dan Oracle ke gudang data cloud atau data lake.
Pindahkan data antar platform cloud atau sistem database.
Konstruksi Gudang Data atau Data Lake
Sinkronkan data penuh atau inkremental secara berkala dari database pemrosesan transaksi online (OLTP) ke lapisan gudang data operasional (ODS) untuk analisis hilir.
Cadangan Data dan Pemulihan Bencana
Cadangkan database produksi secara teratur ke penyimpanan berbiaya rendah seperti HDFS atau OSS.
Implementasikan pemulihan bencana lintas wilayah atau lintas zona.
Fitur inti
Fitur inti | Fitur | Deskripsi |
Migrasi database lintas sumber | - | Migrasikan data dari pusat data lokal atau platform cloud lainnya ke gudang data atau data lake seperti MaxCompute, Hologres, dan OSS. Untuk informasi lebih lanjut, lihat Sumber data yang didukung dan solusi sinkronisasi. |
Lingkungan jaringan kompleks | - | Sinkronkan data dari database ApsaraDB, database yang dikelola sendiri di pusat data lokal atau pada Instance ECS, atau database non-Alibaba Cloud. Pastikan kelompok sumber daya dapat terhubung ke sumber dan tujuan. Untuk informasi lebih lanjut, lihat Konektivitas jaringan. |
Mode sinkronisasi | Sinkronisasi penuh | Satu kali atau sinkronisasi penuh terjadwal ke tabel atau partisi tujuan. |
Sinkronisasi inkremental | Satu kali atau sinkronisasi inkremental terjadwal berdasarkan waktu, partisi, atau kunci utama. | |
Kombinasi sinkronisasi penuh dan inkremental | Jalankan pertama: Sinkronisasi penuh satu kali otomatis. Jalankan berikutnya: Beralih otomatis ke sinkronisasi inkremental terjadwal ke partisi tertentu. | |
Pemetaan database dan tabel | Sync tabel batch | Sinkronkan semua tabel database atau pilih yang spesifik menggunakan filter. |
Pembuatan skema otomatis | Proses ratusan tabel sumber dengan satu konfigurasi. Skema tujuan dibuat secara otomatis. | |
Pemetaan fleksibel | Kustomisasi konvensi penamaan database/tabel tujuan dan pemetaan tipe bidang untuk mencocokkan struktur tujuan. | |
Penjadwalan dan manajemen dependensi | Penjadwalan | Berbagai frekuensi penjadwalan: menit, jam, hari, minggu, bulan, tahun. Saat menyinkronkan banyak tabel, atur eksekusi agar tidak terjadi hambatan sumber daya. |
Dependensi tugas | Tugas seluruh-database dan sub-tugas tabel individu dapat bertindak sebagai dependensi hulu. Tugas hilir memicu secara otomatis saat sinkronisasi tabel selesai. | |
Dukungan parameter | Gunakan parameter penjadwalan untuk sinkronisasi inkremental, seperti | |
Parameter lanjutan | Penanganan data kotor | Data kotor mengacu pada catatan yang gagal ditulis karena kesalahan seperti konflik tipe atau pelanggaran batasan. Default adalah |
Konfigurasi pembaca dan penulis | Konfigurasikan jumlah koneksi maksimum untuk sumber data pembaca dan penulis, serta tentukan kebijakan pembersihan pra-penulisan. | |
Konkurensi dan pembatasan laju |
| |
Operasi dan pemeliharaan | Intervensi waktu proses | Jalankan ulang tugas, isi ulang data, tandai sebagai berhasil, membekukan, atau memulihkan tugas. |
Pemantauan dan peringatan | Konfigurasikan aturan pemantauan untuk garis dasar, status tugas, dan durasi waktu proses dengan pemberitahuan peringatan. | |
Kualitas Data | Setelah penerapan, konfigurasikan aturan pemantauan kualitas data untuk tabel tujuan di Pusat Operasi. Mendukung generasi berbasis AI dan konfigurasi manual. Saat ini hanya tersedia untuk beberapa jenis database. Untuk informasi lebih lanjut, lihat Kualitas Data. |
Memulai cepat
Sumber data yang didukung
DataWorks mendukung migrasi seluruh database dari berbagai sumber ke tujuan seperti MaxCompute, OSS, dan Elasticsearch:
Sumber data sumber | Sumber data tujuan |
MaxCompute | |
Hologres | |
OSS | |
Elasticsearch | |
StarRocks |