Konfigurasikan node sinkronisasi batch untuk menyinkronkan hanya data tambahan

Data Integration memungkinkan Anda menentukan kondisi filter pada node sinkronisasi batch agar hanya menyinkronkan data tambahan. Saat mengonfigurasi node sinkronisasi batch, hanya data yang memenuhi kondisi filter yang akan disinkronkan. Kondisi filter dapat digunakan bersama dengan parameter penjadwalan, sehingga kondisi tersebut dapat berubah secara dinamis sesuai pengaturan parameter penjadwalan dan menyinkronkan data tambahan. Topik ini menjelaskan cara mengonfigurasi node sinkronisasi batch untuk menyinkronkan hanya data tambahan.

Catatan penggunaan

Sinkronisasi tambahan tidak didukung untuk beberapa jenis sumber data, seperti HBase dan OTSStream. Untuk memeriksa apakah sinkronisasi tambahan didukung, lihat topik yang memperkenalkan Plugin Reader dari sumber data terkait.

Parameter yang perlu dikonfigurasi bervariasi berdasarkan Plugin Reader yang digunakan untuk menyinkronkan data tambahan. Untuk informasi lebih lanjut, lihat Jenis Sumber Data yang Didukung, Plugin Reader, dan Plugin Writer. Tabel berikut memberikan contoh.

Plugin Reader	Parameter yang Diperlukan untuk Sinkronisasi Tambahan	Sintaks yang Didukung
MySQL Reader	where Catatan Jika menggunakan antarmuka tanpa kode untuk mengonfigurasi node sinkronisasi batch dengan MySQL Reader, Anda harus mengonfigurasi Parameter Filter.	Gunakan sintaks dari database terkait. Catatan Anda dapat menggunakan kondisi filter bersama dengan parameter penjadwalan untuk membaca data yang dihasilkan selama periode waktu tertentu setiap hari.
MongoDB Reader	query Catatan Jika menggunakan antarmuka tanpa kode untuk mengonfigurasi node sinkronisasi batch dengan MongoDB Reader, Anda harus mengonfigurasi Parameter Kondisi Pencarian.	Gunakan sintaks dari database terkait. Catatan Anda dapat menggunakan kondisi filter bersama dengan parameter penjadwalan untuk membaca data yang dihasilkan selama periode waktu tertentu setiap hari.
OSS Reader	Object	Tentukan jalur objek. Catatan Anda dapat menggunakan kondisi filter bersama dengan parameter penjadwalan untuk membaca data dari objek yang ditentukan setiap hari.
...	...	...

Jika menggunakan node sinkronisasi batch untuk menyinkronkan data, Anda dapat mengonfigurasi parameter penjadwalan untuk menentukan jalur, ruang lingkup data yang ingin disinkronkan, serta lokasi tempat data akan ditulis. Metode konfigurasi parameter penjadwalan untuk node sinkronisasi batch sama dengan metode untuk jenis node lainnya.

Saat node sinkronisasi batch dijalankan, parameter penjadwalan yang dikonfigurasi diganti dengan nilai aktual berdasarkan format nilai dari parameter penjadwalan. Kemudian, node sinkronisasi batch menyinkronkan data berdasarkan nilai-nilai tersebut.

Dalam contoh bagian ini, node sinkronisasi batch dikonfigurasi untuk menyinkronkan data dari sumber data MySQL.

Jika tidak menentukan filter condition saat mengonfigurasi node, node tersebut secara otomatis menyinkronkan semua data dari sumber ke tujuan.
Jika menentukan filter condition saat mengonfigurasi node, node tersebut hanya menyinkronkan data yang memenuhi kondisi filter ke tujuan.

Partisi dalam tabel MaxCompute tujuan tempat data ditulis juga ditentukan oleh parameter penjadwalan. $bizdate menentukan cap waktu data dari node. Saat node dijalankan, ekspresi filter partisi yang dikonfigurasikan diganti dengan cap waktu data yang ditentukan oleh parameter penjadwalan. Untuk informasi tentang cara mengonfigurasi dan menggunakan parameter penjadwalan, lihat Konfigurasikan dan Gunakan Parameter Penjadwalan. Contoh sinkronisasi tambahan

Sebelum mengonfigurasi node sinkronisasi batch untuk menyinkronkan hanya data tambahan, perhatikan hal-hal berikut:

Jika ingin menyinkronkan data tambahan dari tipe data waktu, Anda dapat menggunakan parameter penjadwalan saat menentukan kondisi filter untuk node. Saat node dijadwalkan, parameter penjadwalan diganti dengan nilai aktual berdasarkan cap waktu data dari node. Untuk informasi lebih lanjut tentang parameter penjadwalan, lihat Format yang Didukung dari Parameter Penjadwalan.
Jika ingin menyinkronkan data tambahan dari tipe data selain waktu, Anda dapat menggunakan node penugasan untuk mengonversi tipe data dari bidang sumber ke tipe data yang didukung oleh tujuan, lalu mentransmisikan data yang diproses ke Data Integration untuk sinkronisasi data. Untuk informasi lebih lanjut tentang cara menggunakan node penugasan, lihat Konfigurasikan Node Penugasan.

Skenario sampel

Sinkronkan data tambahan historis: Jika ingin menyinkronkan data tambahan historis dari tabel sumber ke partisi waktu terkait di tabel tujuan, Anda dapat menggunakan fitur pengisian ulang data yang disediakan di Operation Center. Untuk informasi lebih lanjut tentang fitur pengisian ulang data, lihat Isi Ulang Data dan Lihat Instance Pengisian Ulang Data (Versi Baru)
Sinkronkan Data Tambahan dari ApsaraDB RDS ke MaxCompute