Topik ini menjelaskan bidang-bidang yang digunakan Data Integration untuk menyinkronkan data secara waktu nyata.
Tabel berikut menggambarkan format catatan untuk sinkronisasi waktu nyata data MySQL di Data Integration.
_sequence_id_ | _operation_type_ | _execute_time_ | _before_image_ | _after_image_ | Bidang 1 | Bidang 2 | Bidang 3 |
ID catatan dari sebuah event inkremental. Nilainya unik dan bertambah otomatis. | Jenis operasi (I, D, atau U). | Timestamp dari data. | Menunjukkan apakah catatan berisi data sebelum perubahan (Y/N). | Menunjukkan apakah catatan berisi data setelah perubahan (Y/N). | Data aktual bidang 1. | Data aktual bidang 2. | Data aktual bidang 3. |
Ketika Data Integration menyinkronkan data secara real-time dari sumber seperti MySQL, Loghub, dan PolarDB ke DataHub atau Kafka, lima kolom tambahan ditambahkan ke tujuan. Kolom-kolom ini digunakan untuk operasi seperti manajemen metadata, pengurutan, dan deduplikasi.
Parameter | Tipe | Deskripsi |
_sequence_id_ | STRING | ID auto-increment yang digunakan untuk menggabungkan data penuh dan inkremental. |
_operation_type_ | STRING | Jenis operasi. Nilai yang valid adalah:
|
_execute_time_ | LONG | Timestamp ketika data dihasilkan. Ini adalah timestamp binlog. |
_before_image_ | STRING | Menunjukkan apakah catatan berisi data sebelum pembaruan. Nilai yang valid adalah Y dan N. |
_after_image_ | STRING | Menunjukkan apakah catatan berisi data setelah pembaruan. Nilai yang valid adalah Y dan N. |
Untuk jenis operasi yang berbeda seperti INSERT, UPDATE, dan DELETE, bidang _before_image_ dan _after_image_ dalam catatan data inkremental didefinisikan sebagai berikut:
Jika jenis operasi adalah INSERT, catatan yang dihasilkan berisi data yang dimasukkan. Nilai dari _before_image_ adalah N, sedangkan nilai dari _after_image_ adalah Y.
Jika jenis operasi adalah UPDATE, Data Integration membagi operasi menjadi dua catatan: satu untuk data sebelum pembaruan dan satu untuk data setelah pembaruan. Kedua catatan data inkremental ini memiliki nilai yang sama untuk _sequence_id_, _operation_type_, dan _execute_time_.
Untuk catatan data yang menyimpan data asli, nilai dari _before_image_ adalah Y, sedangkan nilai dari _after_image_ adalah N. Untuk catatan data yang menyimpan data yang diperbarui, nilai dari _before_image_ adalah N, sedangkan nilai dari _after_image_ adalah Y.
Jika jenis operasi adalah DELETE, catatan data inkremental berisi data yang dihapus. Untuk catatan ini, nilai dari _before_image_ adalah Y, sedangkan nilai dari _after_image_ adalah N.