Tugas sinkronisasi offline menyediakan fitur penyaringan data yang memungkinkan Anda menyinkronkan seluruh data atau hanya data inkremental. Saat mengonfigurasi kondisi filter, hanya data yang memenuhi kondisi tersebut yang akan disinkronkan. Anda dapat menggabungkan kondisi filter dengan parameter penjadwalan untuk membuat filter dinamis yang berubah sesuai waktu terjadwal tugas, sehingga mengaktifkan sinkronisasi data inkremental. Topik ini menjelaskan cara mengonfigurasi tugas sinkronisasi data inkremental.
Catatan penggunaan
Beberapa sumber data, seperti HBase dan OTSStream, tidak mendukung sinkronisasi inkremental.
Parameter untuk mengonfigurasi sinkronisasi inkremental bervariasi tergantung pada plugin. Untuk pengaturan parameter spesifik, lihat dokumentasi plugin Reader yang sesuai. Untuk informasi lebih lanjut, lihat Sumber data dan plugin baca/tulis yang didukung. Contohnya:
Tipe database
Parameter untuk sinkronisasi inkremental
Sintaks yang didukung
where
CatatanDalam antarmuka tanpa kode, parameter ini disebut Data filtering.
Sintaks database
CatatanIni dapat digabungkan dengan parameter penjadwalan untuk membaca data dari rentang waktu tertentu setiap hari.
query
CatatanDalam antarmuka tanpa kode, parameter ini disebut Retrieve query condition.
Pada dasarnya sama dengan database.
CatatanIni dapat digabungkan dengan parameter penjadwalan untuk membaca data dari rentang waktu tertentu setiap hari.
Object
Tentukan path
CatatanIni dapat digabungkan dengan parameter penjadwalan untuk membaca data dari file tertentu setiap hari.
...
...
...
Konfigurasikan sinkronisasi inkremental
Dalam tugas sinkronisasi Data Integration offline, Anda dapat menggunakan parameter penjadwalan untuk menentukan path data serta rentang waktu untuk tabel sumber dan tujuan. Metode konfigurasi parameter penjadwalan sama dengan tipe tugas lainnya dan tidak memiliki batasan khusus.
Pada waktu proses, sistem mengganti placeholder parameter dalam konfigurasi tugas dengan nilai aktual dari ekspresi parameter penjadwalan, lalu menjalankan sinkronisasi data.
Sebagai contoh, saat menyinkronkan data MySQL:
Jika Data filtering tidak dikonfigurasi, tugas secara default akan menyinkronkan seluruh data ke tabel tujuan.
Jika Anda mengonfigurasi Data filtering, tugas hanya akan menyinkronkan data yang memenuhi kondisi filter ke tabel tujuan.
Anda dapat menentukan nama partisi tabel MaxCompute tujuan menggunakan parameter penjadwalan. Parameter $bizdate merepresentasikan waktu data. Saat tugas terjadwal dijalankan, sistem mengganti ekspresi filter partisi dalam konfigurasi tugas dengan waktu data dari parameter penjadwalan. Untuk informasi lebih lanjut tentang cara mengonfigurasi ekspresi parameter penjadwalan, lihat Konfigurasikan dan gunakan parameter penjadwalan.
Saat mengonfigurasi sinkronisasi data inkremental:
Sinkronisasi bidang inkremental berbasis waktu: Anda dapat menggunakan parameter penjadwalan untuk mengganti data berbasis waktu secara dinamis. Parameter penjadwalan secara otomatis diganti dengan nilai spesifik berdasarkan waktu bisnis saat tugas dijadwalkan. Untuk informasi lebih lanjut tentang cara menggunakan parameter penjadwalan, lihat Format parameter penjadwalan yang didukung.
Sinkronisasi bidang inkremental non-waktu: Anda dapat menggunakan node assignment untuk mengonversi bidang tersebut ke tipe data target, lalu meneruskannya ke Data Integration untuk sinkronisasi data. Untuk informasi lebih lanjut tentang cara menggunakan node assignment, lihat Assignment node.
Contoh skenario
Sinkronisasi data historis: Untuk menyinkronkan data inkremental historis ke partisi berbasis waktu yang sesuai pada tabel tujuan, Anda dapat menggunakan fitur pengisian ulang data di Operation Center. Untuk informasi lebih lanjut tentang cara menggunakan fitur pengisian ulang data, lihat O&M untuk instans pengisian ulang data.