Cara mengonfigurasi tugas sinkronisasi basis data penuh real-time - DataWorks

Fitur sinkronisasi basis data penuh real-time menggabungkan sinkronisasi penuh satu kali dengan penangkapan inkremental berkelanjutan untuk menyinkronkan seluruh database sumber (seperti MySQL atau Oracle) ke sistem tujuan dengan latensi rendah. Tugas sinkronisasi basis data penuh real-time mendukung sinkronisasi penuh data historis dari database sumber dan secara otomatis menginisialisasi skema tabel serta data di tujuan. Setelah itu, tugas tersebut secara otomatis beralih ke mode inkremental real-time dan menggunakan teknologi seperti change data capture (CDC) untuk terus-menerus menangkap serta menyinkronkan perubahan data berikutnya. Fitur ini cocok untuk skenario seperti data warehousing real-time dan pembangunan data lake. Topik ini menggunakan contoh sinkronisasi basis data penuh real-time dari MySQL ke MaxCompute untuk menjelaskan cara mengonfigurasi tugas tersebut.

Prasyarat

Persiapan sumber data
- Sumber data dan tujuan data telah dibuat. Untuk informasi tentang cara mengonfigurasi sumber data, lihat Konfigurasikan sumber data.
- Pastikan bahwa sumber data mendukung sinkronisasi basis data penuh real-time. Untuk informasi lebih lanjut, lihat Sumber data yang didukung.
- Beberapa sumber data memerlukan pengaktifan log, seperti MySQL, Hologres, dan Oracle. Metode pengaktifan log berbeda-beda tergantung pada sumber datanya. Untuk informasi lebih lanjut, lihat Konfigurasi sumber data.
- MaxCompute: Tipe data Decimal didukung oleh MaxCompute 2.0. Sebelum sinkronisasi, Anda harus mengaktifkan tipe data MaxCompute 2.0. Untuk informasi lebih lanjut, lihat Tipe data MaxCompute 2.0.
Kelompok sumber daya: kelompok sumber daya serverless telah dibeli dan dikonfigurasi.
Konektivitas jaringan: Konektivitas jaringan antara kelompok sumber daya dan sumber data harus dikonfigurasi.

Catatan penggunaan

DataWorks mendukung dua jenis sinkronisasi basis data penuh: basis data penuh real-time dan basis data penuh dan inkremental. Kedua jenis mendukung sinkronisasi penuh data historis dari database sumber dan kemudian secara otomatis beralih ke mode inkremental real-time. Namun, keduanya berbeda dalam hal ketepatan waktu dan persyaratan tabel tujuan:
- Ketepatan waktu: Sinkronisasi basis data penuh real-time memberikan ketepatan waktu tingkat detik hingga menit. Sinkronisasi basis data penuh dan inkremental memberikan ketepatan waktu T+1.
- Tabel tujuan (MaxCompute):
  - Tabel Delta PK: Sinkronisasi basis data penuh real-time mendukung semua fitur.
  - Tabel reguler dan Tabel Delta Append: Mode Append hanya didukung saat Anda memilih mode sinkronisasi inkremental dalam tugas sinkronisasi basis data penuh real-time.
  - Sinkronisasi basis data penuh dan inkremental: Semua jenis tabel di atas didukung.
Tugas sinkronisasi basis data penuh real-time dapat dikonfigurasi di modul DataStudio (Data Studio) dan Data Integration. Kedua modul tersebut saling berinteroperasi secara fungsional.
- Konsistensi konfigurasi: Terlepas dari apakah Anda membuat tugas di modul Data Studio atau Data Integration, antarmuka konfigurasi, pengaturan parameter, dan fitur dasar identik.
- Sinkronisasi dua arah: Tugas yang dibuat di modul Data Integration secara otomatis disinkronkan dan ditampilkan di direktori data_integration_jobs modul Data Studio. Tugas-tugas ini dikelompokkan berdasarkan saluran jenis sumber-jenis tujuan untuk manajemen terpadu.

Konfigurasikan tugas

Langkah 1: Buat tugas sinkronisasi

Masuk ke Konsol DataWorks. Di wilayah target, klik Data Integration > Data Integration di panel navigasi sebelah kiri. Pilih ruang kerja dari daftar drop-down dan klik Go to Data Integration.
Di panel navigasi sebelah kiri, klik Synchronization Task. Di halaman yang muncul, klik Create Synchronization Task dan konfigurasikan informasi tugas:
- Source Type: MySQL.
- Destination Type: MaxCompute.
- Specific Type: Real-time Full-database.
- Synchronization Mode:
  - Schema Migration: Secara otomatis membuat objek database (seperti tabel, kolom, dan tipe data) di tujuan yang sesuai dengan sumber, tanpa menyertakan data.
  - Full Synchronization (opsional): Menyalin semua data historis dari objek tertentu (seperti tabel) di sumber ke tujuan sebagai operasi satu kali. Ini biasanya digunakan untuk migrasi data awal atau inisialisasi data.
  - Incremental Sync (opsional): Terus-menerus menangkap perubahan data (insert, update, dan delete) dari sumber setelah sinkronisasi penuh selesai, dan menyinkronkannya ke tujuan.

Langkah 2: Konfigurasikan sumber data dan sumber daya runtime

Di bagian Source Data Source, pilih sumber data MySQL yang telah ditambahkan ke ruang kerja. Di bagian Destination, pilih sumber data MaxCompute yang telah ditambahkan.
Di bagian Running Resources, pilih Resource Group untuk tugas sinkronisasi dan alokasikan Resource Group CU ke tugas tersebut.
Catatan
Saat pesan seperti Please confirm whether there are enough resources... muncul di log tugas, unit komputasi (CUs) yang tersedia dari kelompok sumber daya saat ini tidak mencukupi untuk memulai atau menjalankan tugas. Di panel Configure Resource Group, tingkatkan jumlah CU yang dialokasikan ke tugas untuk memberikan lebih banyak sumber daya komputasi.
Untuk nilai ukuran sumber daya yang direkomendasikan, lihat CU yang Direkomendasikan untuk Data Integration. Sesuaikan nilai berdasarkan kebutuhan aktual Anda.
Pastikan bahwa kedua sumber data (sumber dan tujuan) lulus Connectivity Check.

Langkah 3: Konfigurasi rencana sinkronisasi

1. Konfigurasikan sumber data

Pada langkah ini, Anda dapat memilih tabel yang akan disinkronkan dari sumber data di area Source Tables, lalu klik ikon untuk memindahkannya ke area Selected Tables di sebelah kanan. Jika terdapat banyak tabel, Anda dapat menggunakan Database Filtering atau Table filtering untuk memilih tabel yang akan disinkronkan dengan mengonfigurasi ekspresi reguler.
Untuk menulis beberapa tabel sharded (dengan skema yang sama) ke satu tabel tujuan, Anda dapat Select Tables by Regex.
Masukkan ekspresi reguler di konfigurasi tabel sumber. DataWorks secara otomatis mengidentifikasi dan mengumpulkan semua tabel sumber yang cocok serta menulis datanya ke tabel tujuan yang dipetakan oleh ekspresi tersebut.
Catatan
Metode ini berlaku untuk skenario di mana tabel sharded digabungkan selama sinkronisasi (mirip dengan sinkronisasi sharding database dan tabel). Metode ini meningkatkan efisiensi konfigurasi dan menghindari kebutuhan untuk berulang kali menambahkan aturan sinkronisasi banyak-ke-satu.

2. Konfigurasikan tujuan data

Jika hanya Incremental Sync yang dipilih untuk tugas sinkronisasi basis data penuh real-time, Anda dapat mengonfigurasi mode sinkronisasi inkremental untuk menulis ke tabel tujuan.

Replay: Hanya Tabel Delta PK yang didukung. Mirip dengan sinkronisasi normal, hanya kolom data yang disinkronkan.
Aliran inkremental: Tabel reguler dan Tabel Delta Append didukung. Data real-time dari tabel sumber dilampirkan dengan metadata seperti operasi insert, update, dan delete sebelum ditulis ke tabel tujuan. Untuk format tabel aliran inkremental, lihat Format tabel aliran inkremental.

3. Pemetaan tabel tujuan

Pada langkah ini, Anda perlu menentukan aturan pemetaan antara tabel sumber dan tabel tujuan, serta menentukan aturan seperti kunci primer, partisi dinamis, dan konfigurasi DDL/DML untuk menentukan cara penulisan data.

Operasi

Deskripsi

Refresh

Sistem secara otomatis mencantumkan tabel sumber yang Anda pilih, tetapi properti spesifik tabel tujuan hanya berlaku setelah Anda merefresh dan mengonfirmasinya.

Pilih tabel yang akan disinkronkan secara batch dan klik refresh mapping batch.
Nama tabel tujuan: Nama tabel tujuan dihasilkan secara otomatis berdasarkan aturan Customize Mapping Rules for Destination Table Names. Format default adalah ${source_database_name}_${table_name}. Jika tabel dengan nama yang sama tidak ada di tujuan, sistem secara otomatis membuatnya.

Customize Mapping Rules for Destination Table Names (opsional)

Sistem memiliki aturan default untuk pembuatan nama tabel: ${source_database_name}_${table_name}. Anda juga dapat mengklik tombol Edit di kolom Customize Mapping Rules for Destination Table Names untuk menambahkan aturan kustom nama tabel tujuan.

Nama aturan: Tentukan nama aturan. Kami menyarankan agar Anda menentukan nama yang memiliki makna bisnis yang jelas.
Nama tabel tujuan: Anda dapat mengklik tombol dan memilih Manually enter dan Built-in Variable untuk menggabungkan dan menghasilkan nama tabel tujuan. Variabel yang didukung mencakup nama sumber data sumber, nama database sumber, dan nama tabel sumber.
Edit variabel bawaan: Anda dapat melakukan transformasi string pada variabel bawaan.

Skenario berikut didukung:

Tambahkan awalan atau akhiran ke nama tabel: Tambahkan awalan atau akhiran ke nama tabel sumber dengan mengatur konstanta.
Konfigurasi aturan
Hasil
Penggantian string terpadu: Ganti string dev_ di nama tabel sumber dengan prd_.
Konfigurasi aturan
Hasil
Menulis beberapa tabel ke satu tabel: Atur nama tabel tujuan menjadi konstanta.
Konfigurasi aturan
Hasil

MaxCompute dan Hologres mendukung target schema name mapping customization. Saat Anda menyinkronkan basis data MySQL penuh ke MaxCompute secara real-time, Anda dapat mengonfigurasi aturan target schema name mapping customization untuk mengarahkan data yang disinkronkan ke skema non-default tertentu di proyek MaxCompute tujuan, bukan menulis semua data ke skema default.

Penting

Fitur Skema MaxCompute dinonaktifkan secara default. Sebelum menggunakan fitur target schema name mapping customization, Anda harus mengaktifkan mode Skema secara manual untuk proyek MaxCompute tujuan. Jika tidak, aturan pemetaan tidak berlaku.

Edit column type mapping (opsional)

Sistem memiliki pemetaan default antara tipe kolom sumber dan tipe kolom tujuan. Anda dapat mengklik Edit Mapping of Field Data Types di pojok kanan atas tabel untuk menyesuaikan pemetaan tipe kolom antara tabel sumber dan tujuan, lalu klik Apply and Refresh Mapping.

Saat mengedit pemetaan tipe kolom, pastikan aturan konversi tipe benar. Aturan yang salah dapat menyebabkan kegagalan konversi tipe, menghasilkan data kotor, dan memengaruhi eksekusi tugas.

Edit destination table schema (opsional)

Sistem secara otomatis membuat tabel tujuan yang belum ada berdasarkan aturan pemetaan nama tabel kustom, atau menggunakan kembali tabel yang sudah ada dengan nama yang sama.

DataWorks secara otomatis menghasilkan skema tabel tujuan berdasarkan skema tabel sumber. Dalam kebanyakan kasus, tidak diperlukan intervensi manual. Anda juga dapat memodifikasi skema tabel dengan cara berikut:

Tambahkan kolom ke satu tabel: Klik tombol di kolom Target Table untuk menambahkan kolom.
Tambahkan kolom secara batch: Pilih semua tabel yang akan disinkronkan, lalu pilih Batch Edit > Destination Table Schema - Batch Modify and Add Field di bagian bawah tabel.
Penggantian nama kolom tidak didukung.

Untuk tabel yang sudah ada, Anda hanya dapat menambahkan kolom. Untuk tabel baru, Anda dapat menambahkan kolom, kolom partisi, serta mengonfigurasi tipe tabel atau properti tabel. Untuk detailnya, lihat area yang dapat diedit di halaman.

Value assignment

Kolom native dipetakan secara otomatis berdasarkan kolom dengan nama yang sama di tabel sumber dan tujuan. kolom yang ditambahkan dan kolom partisi pada langkah-langkah sebelumnya memerlukan penugasan nilai manual. Lakukan operasi berikut:

Tetapkan nilai untuk satu tabel: Klik tombol Configuration di kolom Value assignment untuk menetapkan nilai ke kolom tabel tujuan.
Tetapkan nilai secara batch: Pilih Batch Edit > Value assignment di bagian bawah daftar untuk menetapkan nilai secara batch untuk kolom dengan nama yang sama di tabel tujuan.

Saat menetapkan nilai, Anda dapat menggunakan konstanta atau variabel. Alihkan tipe di Value Type. Metode berikut didukung:

Kolom tabel
- Penugasan manual: Masukkan langsung nilai konstan, seperti abc.
- Pilih variabel: Pilih variabel yang didukung sistem dari daftar drop-down. Anda dapat melihat arti setiap variabel di tooltip di halaman.
- Fungsi: Anda dapat menggunakan fungsi untuk menerapkan transformasi sederhana ke kolom tujuan. Untuk informasi lebih lanjut, lihat Gunakan fungsi untuk transformasi nilai kolom.
Kolom partisi: Partisi dapat dibuat secara dinamis berdasarkan nilai enumerasi dari kolom sumber atau waktu event sebagai nilai partisi.
- Penugasan manual: Masukkan langsung nilai konstan, seperti abc.
- Kolom sumber: Gunakan nilai kolom tabel sumber sebagai nilai kolom partisi. Jenis nilainya dapat berupa nilai kolom atau nilai waktu.
  - Nilai kolom: Nilai enumerasi di kolom sumber. Kami menyarankan agar Anda menggunakan kolom dengan jumlah nilai enumerasi terbatas untuk mencegah partisi berlebihan dan data terlalu tersebar.
  - Nilai waktu: Jika nilai di kolom sumber adalah timestamp, Anda dapat memprosesnya berdasarkan format berbeda dan menentukan Target format untuk memformat nilai partisi.
    - String waktu: String yang merepresentasikan nilai waktu, seperti "2018-10-23 02:13:56" atau "2021/05/18". Serialisasi string menjadi nilai waktu dengan menentukan format waktu di sisi sumber dan tujuan. Untuk string contoh di atas, Anda dapat menggunakan format yyyy-MM-dd HH:mm:ss dan yyyy/MM/dd untuk serialisasi dan pengenalan.
    - Obyek waktu: Jika nilai sumber sudah bertipe waktu seperti Date atau Datetime, pilih jenis ini secara langsung.
    - Timestamp Unix (detik): Timestamp tingkat detik. Juga mendukung angka atau string dalam format timestamp 10 digit, seperti 1610529203 dan "1610529203".
    - Timestamp Unix (milidetik): Timestamp tingkat milidetik. Juga mendukung angka atau string dalam format timestamp 13 digit, seperti 1610529203002 dan "1610529203002".
- Pilih variabel: Anda dapat menggunakan waktu perubahan event sumber EVENT_TIME sebagai sumber nilai partisi. Penggunaannya mirip dengan kolom sumber.
- Fungsi: Anda dapat menggunakan fungsi untuk menerapkan transformasi sederhana ke kolom sumber dan menggunakan hasilnya sebagai nilai partisi. Untuk informasi lebih lanjut, lihat Gunakan fungsi untuk transformasi nilai kolom.

Catatan

Jumlah partisi yang berlebihan menurunkan kinerja sinkronisasi. Jika lebih dari 1.000 partisi baru dibuat dalam satu hari, pembuatan partisi gagal dan tugas dihentikan. Oleh karena itu, saat menentukan metode penugasan nilai untuk kolom partisi, perkirakan jumlah partisi yang mungkin dihasilkan. Berhati-hatilah saat menggunakan metode pembuatan partisi tingkat detik atau milidetik.

Source Split Key

Anda dapat memilih kolom dari tabel sumber atau memilih Not Split dari daftar drop-down kunci pemisah sumber. Selama eksekusi tugas, data dibagi menjadi beberapa tugas berdasarkan kolom ini untuk memungkinkan pembacaan data secara konkuren dan batch.

Kami menyarankan agar Anda menggunakan kunci primer tabel sebagai kunci pemisah sumber. Tipe string, floating-point, tanggal, dan lainnya tidak didukung.

Saat ini, kunci pemisah sumber hanya didukung ketika sumbernya adalah MySQL.

Skip Full Synchronization

Jika sinkronisasi penuh telah dikonfigurasi di Langkah 3, Anda dapat membatalkan sinkronisasi data penuh secara individual untuk tabel tertentu. Ini berlaku untuk skenario di mana data penuh telah disinkronkan ke tujuan dengan cara lain.

Full condition

Terapkan filter kondisional ke sumber selama fase sinkronisasi penuh. Masukkan hanya klausa WHERE di sini tanpa kata kunci WHERE.

Configure DML Rule

Pemrosesan pesan DML digunakan untuk melakukan filter dan kontrol detail halus pada data perubahan yang ditangkap dari sumber (Insert, Update, Delete) sebelum data ditulis ke tujuan. Aturan ini hanya berlaku selama fase sinkronisasi inkremental.

Lainnya

Table Type: MaxCompute mendukung tabel reguler, PK Delta Table, dan Append Delta Table. Jika status tabel tujuan adalah To Be Created, Anda dapat memilih tipe tabel saat mengedit struktur tabel tujuan. Tipe tabel yang sudah ada tidak dapat diubah.

Mode penuh + inkremental sinkronisasi basis data penuh real-time hanya mendukung PK Delta Table sebagai tipe tabel tujuan.
Dalam mode hanya inkremental, mode replay mendukung PK Delta Table, dan mode streaming inkremental mendukung tipe tabel reguler dan Append Delta Table.

Untuk informasi lebih lanjut tentang Delta Table, lihat Ikhtisar Delta Table.

Langkah 4: Konfigurasi lanjutan

Konfigurasi parameter lanjutan

Jika Anda memerlukan konfigurasi detail halus untuk tugas guna memenuhi kebutuhan sinkronisasi kustom, buka tab Advanced Parameters untuk memodifikasi parameter lanjutan.

Klik Advanced Configuration di pojok kanan atas halaman untuk membuka halaman konfigurasi parameter lanjutan.
Modifikasi nilai parameter berdasarkan petunjuk parameter. Arti setiap parameter dijelaskan setelah nama parameter.
Konfigurasi berbantuan AI juga didukung. Anda dapat memasukkan instruksi bahasa alami, seperti menyesuaikan konkurensi tugas, dan model bahasa besar akan menghasilkan nilai parameter yang direkomendasikan. Anda dapat memilih apakah akan menerima parameter yang dihasilkan AI berdasarkan kebutuhan aktual Anda.

Penting

Modifikasi parameter hanya setelah Anda sepenuhnya memahami artinya. Modifikasi yang tidak tepat dapat menyebabkan masalah tak terduga seperti latensi tugas, konsumsi sumber daya berlebihan yang menghambat tugas lain, atau kehilangan data.

Konfigurasi kemampuan DDL

Beberapa saluran sinkronisasi real-time dapat mendeteksi perubahan metadata pada skema tabel sumber, memberi tahu tujuan, dan menyinkronkan pembaruan ke tujuan. Kebijakan penanganan lain seperti peringatan, mengabaikan, atau menghentikan tugas juga tersedia.

Anda dapat mengklik Configure DDL Capability di pojok kanan atas halaman untuk mengatur kebijakan penanganan untuk setiap jenis perubahan DDL. Kebijakan penanganan yang tersedia bervariasi tergantung pada saluran.

Proses normal: Tujuan memproses informasi perubahan DDL dari sumber.
Abaikan: Pesan perubahan diabaikan, dan tujuan tidak dimodifikasi.
Error: Tugas sinkronisasi basis data penuh real-time dihentikan, dan statusnya diatur ke Error.
Peringatan: Peringatan dikirimkan kepada Anda saat jenis perubahan ini terjadi di sumber. Anda harus mengonfigurasi aturan notifikasi DDL di Configure Alert Rule.

Catatan

Setelah kolom ditambahkan ke tabel sumber dan dibuat di tabel tujuan melalui sinkronisasi DDL, sistem tidak melakukan backfill data yang sudah ada di tabel tujuan.

Catatan

Penghapusan kolom tidak didukung untuk sinkronisasi otomatis pada sumber MySQL. Saat Anda menghapus kolom dari tabel MySQL sumber, skema tabel menjadi tidak konsisten dengan log biner, yang dapat menyebabkan error pada tugas sinkronisasi.

Untuk menghapus kolom yang telah disinkronkan ke tabel tujuan, gunakan solusi berikut:

Hapus tabel tujuan yang sesuai (misalnya, tabel tujuan Hologres).
Edit tugas sinkronisasi dan hapus tabel dari tugas.
Tambahkan kembali tabel ke tugas.
Refresh pemetaan kolom.
Simpan dan terapkan tugas.
Jika tugas dalam status berjalan, klik Apply Updates agar perubahan berlaku.

Langkah 5: Terapkan dan jalankan tugas

Setelah menyelesaikan semua konfigurasi, klik Save di bagian bawah halaman untuk menyimpan konfigurasi tugas.
Tugas sinkronisasi basis data penuh tidak mendukung debugging langsung dan harus diterapkan ke Operation Center untuk dijalankan. Oleh karena itu, baik tugas baru maupun tugas yang diedit memerlukan operasi Deploy agar berlaku.
Selama penerapan, jika Anda memilih Start immediately after deployment, tugas akan dimulai secara simultan saat penerapan. Jika tidak, setelah penerapan selesai, Anda perlu membuka halaman Data Integration > Synchronization Task dan memulai tugas secara manual di kolom Actions tugas target.
Klik Name/ID tugas yang sesuai di Tasks untuk melihat proses eksekusi tugas secara detail.

Langkah 6: Konfigurasi peringatan

1. Tambahkan Peringatan

Di daftar Data Integration > Synchronization Task, temukan tugas sinkronisasi basis data penuh real-time target, lalu klik More > Alerts di kolom Actions untuk mengonfigurasi kebijakan peringatan untuk tugas tersebut.

(1) Klik Create Rule untuk mengonfigurasi aturan peringatan.

Anda dapat mengatur Alert Reason untuk memantau metrik seperti Business delay, Failover, Task status, DDL Notification, dan Task Resource Utilization untuk tugas tersebut, serta mengonfigurasi level peringatan CRITICAL atau WARNING berdasarkan ambang batas yang ditentukan.

Dengan mengonfigurasi Configure Advanced Parameters, Anda dapat mengontrol interval antar pesan peringatan untuk mencegah pengiriman pesan berlebihan sekaligus, yang dapat menyebabkan pemborosan dan penumpukan pesan.
Jika Anda memilih Business delay, Task status, atau Task Resource Utilization sebagai alasan peringatan, Anda juga dapat mengaktifkan notifikasi pemulihan untuk memberi tahu penerima saat tugas kembali normal.

(2) Kelola aturan peringatan.

Untuk aturan peringatan yang telah dibuat, Anda dapat menggunakan toggle peringatan untuk mengaktifkan atau menonaktifkan aturan peringatan. Anda juga dapat mengirim peringatan ke penerima berbeda berdasarkan level peringatan.

2. Lihat Peringatan

Klik More > Configure Alert Rule di daftar tugas yang diperluas untuk membuka halaman event peringatan, tempat Anda dapat melihat peringatan yang telah dipicu.

Kelola tugas

Edit tugas

Di halaman Data Integration > Synchronization Task, temukan tugas sinkronisasi yang telah Anda buat, klik More di kolom Operation, lalu klik Edit untuk memodifikasi informasi tugas. Prosedurnya sama dengan prosedur mengonfigurasi tugas.
Untuk tugas yang tidak dalam status berjalan, Anda dapat langsung memodifikasi konfigurasi, menyimpan perubahan, lalu menerapkan tugas ke lingkungan produksi agar perubahan berlaku.
Untuk tugas dalam status Running, jika Anda mengedit dan menerapkan tugas tanpa memilih Start immediately after deployment, tombol aksi asli berubah menjadi Apply Updates. Anda harus mengklik tombol ini agar perubahan berlaku di lingkungan produksi.
Setelah Anda mengklik Apply Update, sistem melakukan tiga langkah berurutan: Stop, Deploy, dan Restart.
- Jika perubahan melibatkan menambahkan tabel baru atau mengganti tabel yang ada:
  Saat menerapkan pembaruan, Anda tidak dapat memilih checkpoint. Setelah mengklik konfirmasi, sistem melakukan migrasi skema dan inisialisasi penuh untuk tabel baru. Setelah inisialisasi penuh selesai, sinkronisasi inkremental dimulai untuk tabel baru bersama tabel yang sudah ada.
- Jika konfigurasi lain dimodifikasi:
  Saat menerapkan pembaruan, Anda dapat memilih checkpoint. Setelah mengklik konfirmasi, tugas dilanjutkan dari checkpoint yang ditentukan. Jika tidak ada checkpoint yang ditentukan, tugas dilanjutkan dari checkpoint tempat tugas terakhir berhenti.
Tabel yang tidak dimodifikasi tidak terpengaruh dan dilanjutkan dari checkpoint tempat mereka terakhir berhenti setelah pembaruan dan restart.

Lihat tugas

Setelah membuat tugas sinkronisasi, Anda dapat melihat daftar tugas sinkronisasi yang telah dibuat dan informasi dasar setiap tugas di halaman tugas sinkronisasi.

Di kolom Actions, Anda dapat Start atau Stop tugas sinkronisasi, dan dari menu More, Anda dapat edit atau View tugas sinkronisasi.
Untuk tugas yang telah dimulai, Anda dapat melihat status dasar yang sedang berjalan di Execution Overview, dan mengklik area ikhtisar yang sesuai untuk melihat detail eksekusi.

Resume berbasis checkpoint

Kasus penggunaan

Meriset ulang checkpoint secara manual saat memulai atau me-restart tugas berlaku untuk skenario berikut:

Pemulihan tugas dan resume data: Saat tugas terputus secara tak terduga, Anda mungkin perlu menentukan titik waktu gangguan secara manual sebagai checkpoint awal baru untuk memastikan data dilanjutkan dari titik putus yang akurat.
Pemecahan masalah data dan backtracking: Jika Anda menemukan data yang disinkronkan hilang atau abnormal, Anda dapat memutar kembali checkpoint ke titik waktu sebelum masalah terjadi, lalu memutar ulang dan memperbaiki data yang bermasalah.
Perubahan konfigurasi tugas besar-besaran: Setelah melakukan perubahan besar pada konfigurasi tugas, seperti skema tabel tujuan atau pemetaan kolom, kami menyarankan agar Anda meriset ulang checkpoint untuk memulai sinkronisasi dari titik waktu tertentu guna memastikan akurasi data di bawah konfigurasi baru.

Instruksi

Klik Start, lalu di dialog, pilih Whether to reset the site:

Pemulaan pertama: Anda tidak perlu memilih opsi reset checkpoint. Jalankan tugas secara langsung. Sistem secara otomatis melakukan inisialisasi penuh lalu beralih ke sinkronisasi inkremental setelah inisialisasi selesai.
Jalankan tanpa meriset ulang checkpoint: Tugas dilanjutkan dari checkpoint tempat tugas terakhir berhenti (checkpoint terakhir).
Riset ulang checkpoint dan pilih waktu: Tugas dimulai dari checkpoint waktu yang ditentukan. Pastikan waktu yang dipilih tidak melebihi waktu checkpoint paling awal yang didukung oleh binlog sumber.

Penting

Jika terjadi error checkpoint atau error checkpoint-not-found saat menjalankan tugas sinkronisasi, coba solusi berikut:

Riset ulang checkpoint: Saat memulai tugas sinkronisasi real-time, reset checkpoint dan pilih checkpoint paling awal yang tersedia dari database sumber.
Sesuaikan periode retensi log: Jika checkpoint database telah kedaluwarsa, pertimbangkan untuk menyesuaikan periode retensi log di database. Misalnya, atur periode retensi menjadi 7 hari.
Sinkronisasi data: Jika data telah hilang, pertimbangkan untuk melakukan sinkronisasi penuh lagi, atau konfigurasikan tugas sinkronisasi batch untuk menyinkronkan secara manual data yang hilang.

O&M dan tuning tugas

Setelah tugas dimulai, jika Anda mengalami masalah seperti latensi konsumsi data, tugas hang, atau kinerja buruk, lihat Pemecahan masalah dan tuning tugas sinkronisasi real-time untuk solusinya.

FAQ

Untuk pertanyaan umum tentang sinkronisasi basis data penuh real-time, lihat FAQ tentang sinkronisasi basis data penuh real-time.

Lampiran: Format tabel changelog inkremental

Tata letak flat kolom sumber

Nama kolom	Deskripsi
sequence_id	ID catatan event inkremental yang unik dan auto-incrementing.
operation_type	Jenis operasi (I/D/U).
execute_time	Timestamp data.
before_image	Menunjukkan apakah catatan ini merepresentasikan data sebelum perubahan (Y/N).
after_image	Menunjukkan apakah catatan ini merepresentasikan data setelah perubahan (Y/N).
src_datasource	Sumber data asal.
src_database	Database asal.
src_table	Tabel asal.
Kolom 1	Kolom data aktual 1.
Kolom 2	Kolom data aktual 2.
Kolom 3	Kolom data aktual 3.

Gabungkan kolom tabel sumber ke dalam JSON

Nama kolom	Deskripsi
sequence_id	ID catatan event inkremental. Nilainya unik dan bertambah secara berurutan.
operation_type	Jenis operasi (I/D/U) DDL: ALTER, TRUNCATE, RENAME
execute_time	Timestamp data
before_image	Menunjukkan apakah ini catatan sebelum perubahan (Y/N)
after_image	Menunjukkan apakah ini catatan setelah perubahan (Y/N)
src_datasource	Sumber data asal
src_database	Database sumber data
src_table	Tabel Sumber Data
ddl_sql	Berisi pernyataan DDL saat operasi bertipe DDL.
data_columns	Kolom data aktual yang digabungkan dalam format JSON