DataWorks:Ikhtisar

Metode

Deskripsi

Batch

Menggunakan mekanisme penjadwalan batch periodik dengan tugas per jam atau harian untuk melakukan migrasi full atau incremental data sumber ke tujuan.

Real-time

Menggunakan mesin pemrosesan streaming untuk menangkap perubahan data sumber secara real time (log CDC), mencapai sinkronisasi data dengan latensi tingkat detik.

Single table

Memindahkan data untuk satu tabel, dengan dukungan pemetaan bidang detail halus, aturan transformasi, dan konfigurasi kontrol.

Full database

Memigrasikan skema tabel dan data dari beberapa tabel dalam satu instansiasi basis data sumber ke tujuan dalam satu operasi, dengan dukungan pembuatan tabel otomatis. Satu tugas dapat menyinkronkan beberapa tabel, mengurangi jumlah tugas dan konsumsi sumber daya.

Sharding

Menulis data dari beberapa tabel sumber yang memiliki skema sama ke satu tabel tujuan, secara otomatis mengenali aturan routing sharding, dan menggabungkan data tersebut.

Full

Memigrasikan semua data historis dari tabel sumber sekaligus, biasanya digunakan untuk inisialisasi gudang data atau pengarsipan data.

Incremental

Hanya menyinkronkan data baru atau yang berubah dari sumber (seperti INSERT/UPDATE). Data Integration mendukung mode inkremental batch maupun real-time, yang diimplementasikan masing-masing dengan mengatur penyaringan data (kondisi inkremental) dan membaca data CDC dari sumber.

Full and incremental

Menjalankan sinkronisasi penuh satu kali untuk data historis, lalu secara otomatis beralih ke penulisan data inkremental. Data Integration mendukung sinkronisasi full and incremental untuk berbagai skenario. Pilih opsi yang sesuai berdasarkan karakteristik sumber data dan persyaratan latensi antara sumber dan tujuan Anda.

• Skema batch: Sinkronisasi penuh satu kali diikuti oleh sinkronisasi inkremental periodik. Cocok untuk sumber data yang tidak memerlukan ketepatan waktu data tinggi dan memiliki bidang inkremental yang sesuai di tabel sumber (misalnya modify_time).

• Skema real-time: Sinkronisasi penuh satu kali diikuti oleh sinkronisasi inkremental real-time. Cocok untuk skenario yang memerlukan ketepatan waktu data tinggi dan sumber berupa antrian pesan atau database yang mendukung log CDC.

• Skema near-real-time: Sinkronisasi penuh satu kali ke tabel dasar, dengan penulisan inkremental real-time ke tabel log. Secara basis T+1, data tabel log digabungkan ke tabel dasar. Skema near-real-time melengkapi skema real-time dan cocok untuk format tabel tujuan yang tidak mendukung pembaruan atau penghapusan, seperti tabel MaxCompute reguler.

Konsep

Deskripsi

Data synchronization

Sinkronisasi data mengacu pada pembacaan data dari sumber, melakukan ekstraksi dan penyaringan, lalu menulis data tersebut ke tujuan. Data Integration berfokus pada pemindahan data yang dapat diabstraksikan menjadi struktur tabel dua dimensi logis. Layanan ini tidak menyediakan kemampuan konsumsi aliran data atau transformasi ETL.

Data Integration hanya mendukung jaminan pengiriman at-least-once. Pengiriman exactly-once tidak didukung. Artinya, data duplikat mungkin terjadi setelah sinkronisasi. Anda hanya dapat mengandalkan primary key dan kemampuan tujuan untuk memastikan deduplikasi data.

Field mapping

Field mapping menetapkan korespondensi baca/tulis antara data sumber dan tujuan dalam tugas sinkronisasi. Saat mengonfigurasi field mapping, periksa dengan cermat kompatibilitas tipe antara bidang sumber dan tujuan untuk menghindari kesalahan konversi yang dapat menghasilkan data kotor atau menyebabkan kegagalan tugas. Risiko umum meliputi:

• Kegagalan konversi tipe: Jika tipe bidang sumber dan tujuan tidak konsisten (misalnya, sumber berupa String dan tujuan berupa Integer), hal ini langsung menyebabkan gangguan tugas atau data kotor.

• Kehilangan presisi dan rentang: Jika nilai maksimum tipe bidang tujuan lebih kecil daripada sumber (atau nilai minimum lebih besar, atau presisinya lebih rendah), kegagalan penulisan data atau pemotongan presisi dapat terjadi. Hal ini berlaku terlepas dari tipe bidang di kedua sisi atau apakah sinkronisasi bersifat batch atau real-time.

Concurrency

Concurrency adalah jumlah maksimum thread yang dapat membaca dari atau menulis ke penyimpanan data secara paralel selama tugas sinkronisasi data.

Throttling

Throttling adalah batas kecepatan transfer yang dapat dicapai oleh tugas sinkronisasi Data Integration.

Dirty data

Data kotor mengacu pada data yang tidak valid, diformat salah, atau mengalami pengecualian sinkronisasi. Ketika satu catatan gagal ditulis ke tujuan, catatan tersebut diklasifikasikan sebagai data kotor (misalnya, tipe VARCHAR sumber tidak dapat dikonversi ke tipe INT tujuan). Anda dapat mengonfigurasi kebijakan toleransi data kotor di pengaturan tugas: tetapkan ambang batas untuk membatasi jumlah catatan data kotor. Jika ambang batas terlampaui, tugas gagal dan berhenti.

Jika tugas gagal karena data kotor, data yang telah berhasil ditulis tidak dikembalikan (rollback). Data Integration menggunakan mekanisme penulisan batch. Kemampuan rollback batch yang gagal bergantung pada apakah tujuan mendukung transaksi. Data Integration sendiri tidak menyediakan dukungan transaksi.

Data source

Sumber data adalah unit konfigurasi standar di DataWorks untuk menghubungkan ke sistem eksternal. Sumber data menyediakan definisi titik akhir baca/tulis terpadu untuk tugas Data Integration melalui templat koneksi yang telah ditentukan untuk berbagai sumber data heterogen seperti MaxCompute, MySQL, dan OSS.

Data consistency

Data Integration hanya mendukung jaminan pengiriman at-least-once. Pengiriman exactly-once tidak didukung. Artinya, data duplikat mungkin terjadi setelah sinkronisasi. Anda hanya dapat mengandalkan primary key dan kemampuan tujuan untuk memastikan deduplikasi data.