Konfigurasi tugas sinkronisasi database batch - DataWorks

Fitur sinkronisasi database batch di DataWorks secara berkala menyinkronkan skema dan data sebagian atau seluruh tabel dari database sumber ke tujuan, mendukung mode sinkronisasi lengkap, inkremental, atau kombinasi keduanya. Contoh berikut menggunakan migrasi dari MySQL ke MaxCompute untuk menggambarkan proses konfigurasi.

Prasyarat

Data sources
- Buat sumber data dan tujuan data. Untuk informasi lebih lanjut, lihat Data Source Management.
- Pastikan sumber data Anda mendukung sinkronisasi database batch. Untuk detail tentang sumber data yang didukung, seperti PostgreSQL atau Oracle, lihat Supported data sources. Jika sumber data Anda tidak ada dalam daftar yang didukung (misalnya, versi PostgreSQL tertentu), gunakan sinkronisasi offline tabel tunggal sebagai gantinya.
Resource group: Beli dan konfigurasikan serverless resource group.
Network connectivity: Bangun network connectivity antara resource group dan sumber data.

Penerapan

Tugas sinkronisasi database batch dapat dikonfigurasi baik di DataStudio maupun di Data Integration. Fitur-fiturnya identik di kedua modul tersebut.

Konsistensi konfigurasi: Antarmuka, parameter, dan fungsi dasar identik baik saat membuat tugas di DataStudio maupun Data Integration.
Sinkronisasi dua arah: Data Integration secara otomatis menyinkronkan tugas dan menampilkannya di direktori data_integration_jobs di DataStudio. Tugas-tugas ini dikelompokkan berdasarkan saluran SourceType-DestinationType untuk pengelolaan terpadu.
Sinkronisasi data T+1: Sinkronisasi database batch juga berlaku untuk skenario sinkronisasi database T+1. Anda dapat mengonfigurasinya sebagai sinkronisasi lengkap Recurring, atau sebagai one-time full synchronization followed by recurring incremental synchronization bawaan, untuk menerapkan snapshot lengkap harian atau pipeline ETL inkremental.

Konfigurasi tugas sinkronisasi

Langkah 1: Buat tugas sinkronisasi

Masuk ke DataWorks console. Di wilayah target, klik Data Integration > Data Integration di panel navigasi kiri. Pilih ruang kerja dari daftar drop-down dan klik Go to Data Integration.
Di panel navigasi kiri, klik Synchronization Task, lalu klik Create Synchronization Task di bagian atas halaman. Konfigurasikan informasi tugas:
- Data Source Type: MySQL.
- Data Source Type: MaxCompute.
- Specific Type: batch database synchronization.
- Synchronization Mode: Pengaturan Synchronization steps bekerja bersama dengan pengaturan full and incremental control berikutnya. Anda dapat mengombinasikannya untuk membuat solusi sinkronisasi berbeda. Untuk detailnya, lihat Full and incremental control.
  - Schema Migration: Secara otomatis membuat objek database seperti tabel, bidang, dan tipe data di tujuan agar sesuai dengan skema sumber, tetapi tidak memigrasi data.
  - Full Synchronization (opsional): Menyalin semua data historis dari objek sumber yang ditentukan, seperti tabel, ke tujuan dalam satu operasi. Biasanya digunakan untuk migrasi data awal atau inisialisasi data.
  - Incremental Sync (opsional): Setelah sinkronisasi lengkap selesai, mode ini terus-menerus menangkap data baru dari sumber berdasarkan incremental condition dan menyinkronkannya ke tujuan.

Langkah 2: Konfigurasi sumber data dan sumber daya waktu proses

Di bagian Source Data Source, pilih sumber data MySQL di ruang kerja Anda. Di bagian Destination, pilih sumber data MaxCompute yang telah ditambahkan.
Di bagian Running Resources, pilih Resource Group untuk tugas sinkronisasi dan alokasikan Resource Group CUs. Jika tugas sinkronisasi Anda gagal karena error kehabisan memori (OOM), tingkatkan alokasi Resource Group CUs.
Pastikan kedua sumber data, baik sumber maupun tujuan, lulus Connectivity Check.

Langkah 3: Konfigurasi solusi sinkronisasi

1. Sumber data

Pilih tabel yang akan disinkronkan dari sumber data di bagian Source tables. Klik ikon untuk memindahkannya ke daftar Selected tables di sebelah kanan.

Tersedia dua mode pemilihan tabel: Select specified tables dan Use a regular expression to select tables. Mode ekspresi reguler juga menambahkan dan menghapus tabel yang cocok saat tugas sedang berjalan. Mengganti mode akan menghapus semua tabel yang dipilih di mode lainnya. Untuk menambahkan tabel secara massal, klik Batch paste tables di pojok kanan atas.

Jika terdapat banyak database atau tabel, Anda dapat menggunakan Database Filtering atau Table filtering dan konfigurasikan ekspresi reguler untuk memilih tabel yang ingin disinkronkan.

2. Tujuan

Klik tombol Configuration di samping Partition Initialization Configuration untuk menginisialisasi partisi secara seragam untuk tabel tujuan baru. Perubahan yang dilakukan di sini berlaku untuk semua tabel tujuan baru dan tidak memengaruhi tabel yang sudah ada.

3. Kontrol lengkap dan inkremental

Konfigurasikan frekuensi eksekusi tugas.

Jika Anda memilih "Full synchronization" atau "Incremental synchronization", Anda dapat menjalankan tugas sebagai tugas One-time atau tugas Recurring.

Jika Anda memilih keduanya, "Full synchronization" dan "Incremental synchronization", sistem menggunakan mode bawaan: "One-time full synchronization for the first run, followed by recurring incremental synchronization". Opsi ini tidak dapat diubah.

Synchronization steps	Full and incremental control	Behavior	Use case
Full synchronization	One-time	Setelah tugas dimulai, tugas tersebut menyinkronkan semua data dari tabel sumber sekali saja ke tabel tujuan atau partisi tertentu.	Inisialisasi data, migrasi sistem
Full synchronization	Recurring	Berdasarkan siklus penjadwalan yang dikonfigurasi, tugas tersebut secara berkala menyinkronkan semua data dari tabel sumber ke tabel tujuan atau partisi tertentu.	Rekonsiliasi data, snapshot lengkap T+1
Incremental synchronization	One-time	Setelah tugas dimulai, tugas tersebut menyinkronkan data inkremental sekali saja ke partisi tertentu berdasarkan kondisi inkremental yang Anda tentukan.	Perbaikan manual batch data tertentu
Incremental synchronization	Recurring	Setelah tugas dimulai, tugas tersebut secara berkala menyinkronkan data inkremental ke partisi tertentu berdasarkan scheduling cycle dan incremental condition yang dikonfigurasi.	ETL harian, pembuatan tabel sejarah
Full synchronization & Incremental synchronization	(Built-in mode, not selectable)	Jalankan pertama: Secara otomatis melakukan migrasi skema sekali dan sinkronisasi lengkap data historis. Jalankan berikutnya: Secara berkala menyinkronkan data inkremental ke partisi tertentu berdasarkan scheduling cycle dan incremental condition yang dikonfigurasi.	Ingesti data satu-klik ke gudang data atau data lake

Catatan

Untuk sinkronisasi database batch, sistem menghasilkan instans untuk tugas berulang dengan cara yang sama seperti tugas yang diatur ke Start immediately after deployment. Untuk informasi lebih lanjut, lihat Instance generation method: Start immediately after deployment.
Anda dapat menentukan metode pembuatan partisi pada langkah Value assignment berikutnya. Anda dapat menggunakan constants atau menghasilkan partisi secara dinamis menggunakan variables dan scheduling parameters yang telah ditentukan sistem.
Konfigurasi untuk scheduling cycle, incremental condition, dan metode partition generation saling bergantung. Untuk informasi lebih lanjut, lihat 6. Incremental condition.

Konfigurasikan parameter penjadwalan.

Jika tugas Anda melibatkan sinkronisasi berulang, klik Scheduling Parameters for Periodical Scheduling untuk mengonfigurasinya. Parameter ini dapat digunakan nanti saat mengonfigurasi incremental condition dan field value assignment dalam pemetaan tabel tujuan.

4. Pemetaan tabel tujuan

Tentukan aturan pemetaan antara tabel sumber dan tujuan, serta spesifikasikan metode penulisan data melalui recurring configuration dan incremental condition.

Bagian atas halaman berisi kotak pencarian Search database name dan Search source table. Halaman ini juga menyediakan opsi filter Show all, Show only unrefreshed tables, dan Show only tables that failed to refresh. Kolom Actions setiap baris berisi tautan Remove. Tombol Batch remove dan Batch modify muncul di bawah tabel.

Actions

Description

Refresh mapping

Sistem secara otomatis mencantumkan tabel sumber yang Anda pilih, tetapi Anda harus merefresh pemetaan agar properti tabel tujuan diterapkan.

Pilih tabel yang akan disinkronkan secara massal dan klik Batch Refresh Mapping.
Nama tabel tujuan: Nama tabel tujuan dihasilkan secara otomatis berdasarkan aturan Customize Mapping Rules for Destination Table Names. Nilai default-nya adalah ${SourceDatabaseName}_${TableName}. Jika tabel dengan nama ini belum ada di tujuan, sistem akan membuatnya secara otomatis.

Edit field type mapping (opsional)

Sistem memiliki pemetaan default antara tipe bidang sumber dan tujuan. Anda dapat mengklik Edit Mapping of Field Data Types di pojok kanan atas untuk menyesuaikan pemetaan. Setelah dikonfigurasi, klik Apply and Refresh Mapping.

Saat mengedit pemetaan tipe bidang, pastikan aturan konversinya benar. Jika tidak, konversi tipe dapat gagal, menghasilkan data kotor, dan memengaruhi eksekusi tugas.

Customize destination table name mapping (opsional)

Sistem memiliki aturan default pembuatan nama tabel: ${SourceDatabaseName}_${TableName}. Anda juga dapat mengklik tombol Edit di kolom Customize Mapping Rules for Destination Table Names untuk menambahkan aturan kustom.

Nama Aturan: Tentukan nama untuk aturan tersebut. Disarankan menggunakan nama yang memiliki makna bisnis yang jelas.
Nama Tabel Tujuan: Anda dapat menyusun nama tabel tujuan dengan mengklik tombol dan menggabungkan Manually enter dan Built-in Variable. Variabel yang didukung mencakup nama sumber data, nama database sumber, dan nama tabel sumber.
Edit Built-in Variables: Anda dapat menerapkan transformasi string pada variabel bawaan.

Fitur ini mendukung skenario berikut:

Menambahkan awalan atau akhiran pada nama: Gunakan constants untuk menambahkan awalan atau akhiran pada nama tabel sumber.

Rule configuration

Result
Penggantian string global: Ganti string dev_ dalam nama tabel sumber dengan prd_.

Rule configuration

Result
Menulis data dari beberapa tabel ke dalam satu tabel.

Rule configuration

Result

Customize destination database name mapping (opsional)

Beberapa sumber data tujuan, seperti Hologres, mendukung penentuan aturan pemetaan untuk database tujuan. Metode konfigurasinya sama dengan Customize destination table name mapping.

Customize destination schema name mapping (opsional)

Beberapa sumber data tujuan, seperti Hologres, mendukung penentuan aturan pemetaan untuk skema tujuan. Metode konfigurasinya sama dengan Customize destination table name mapping.

Edit destination table schema (opsional)

Sistem secara otomatis menghasilkan skema tabel tujuan berdasarkan skema tabel sumber. Biasanya Anda tidak perlu mengubahnya. Untuk kebutuhan khusus, Anda dapat menyesuaikannya sebagai berikut:

Tambahkan bidang ke satu tabel: Klik tombol di kolom Target Table untuk menambahkan bidang.
Tambahkan bidang secara massal: Pilih semua tabel yang akan disinkronkan, lalu di bagian bawah tabel, pilih Batch Edit > Batch Modify Table Schema.
Mengganti nama kolom tidak didukung.

Value assignment for destination table fields

Anda harus secara manual memberikan nilai untuk partition fields dan newly added fields. Bidang standar dipetakan secara otomatis berdasarkan kecocokan nama di tabel sumber dan tujuan. Ikuti langkah-langkah berikut:

Berikan nilai untuk satu tabel: Klik tombol Configuration di kolom Value assignment untuk memberikan nilai ke bidang tabel tujuan.
Berikan nilai secara massal: Di bagian bawah daftar, pilih Batch Edit > Value assignment untuk memberikan nilai ke bidang identik di beberapa tabel tujuan.

Anda dapat memberikan constants atau variables. Di Value Type untuk Table fields dan Partition fields, Anda dapat beralih antara jenis berikut:

Penugasan manual: Masukkan nilai constant atau parameter penjadwalan secara langsung, seperti abc, atau gunakan format ${xxx} untuk memasukkan nama parameter penjadwalan, seperti ${bizdate}.
Pilih variabel: Pilih variabel yang didukung sistem dari daftar drop-down. Anda dapat melihat makna spesifik setiap variabel di tooltip pada antarmuka.

Baik variables maupun scheduling parameters secara otomatis diganti dengan nilai spesifik tanggal saat tugas dijadwalkan berjalan.

Set source sharding column

Di kolom source sharding, Anda dapat memilih bidang dari tabel sumber atau memilih Disable. Saat tugas sinkronisasi berjalan, DataWorks membagi tugas menjadi beberapa subtugas berdasarkan bidang ini untuk memungkinkan pembacaan data batch secara konkuren.

Disarankan menggunakan primary key tabel sebagai kolom sharding sumber. Tipe string, floating-point, dan tanggal tidak didukung.

Saat ini, kolom sharding sumber hanya didukung untuk sumber MySQL.

Customize advanced parameters

Ubah parameter ini hanya jika Anda benar-benar memahaminya. Pengaturan yang salah dapat menyebabkan penundaan tugas, konflik sumber daya, atau kehilangan data. Anda dapat mengatur writer-side configurations dan runtime configurations individual untuk subtugas.

Table type

Jenis Tabel: MaxCompute mendukung tabel standar, PK Delta Tables, dan Append Delta Tables. Jika status tabel tujuan adalah "To be created", Anda dapat memilih jenis tabel saat mengedit skema tabel tujuan. Jenis tabel yang sudah ada tidak dapat diubah.

Untuk informasi lebih lanjut tentang Delta Tables, lihat Delta Table.

5. Recurring configuration

Jika sinkronisasi inkremental dikonfigurasi sebagai Recurring, Anda perlu menyelesaikan recurring configuration untuk tabel tujuan. Ini mencakup pengaturan seperti Scheduling Frequency, Data Timestamp, dan Resource Group for Scheduling. Konfigurasi penjadwalan untuk tugas sinkronisasi ini konsisten dengan konfigurasi penjadwalan node di DataStudio. Untuk detail parameter, lihat Configure node scheduling.

Catatan

Jika sinkronisasi satu kali melibatkan banyak tabel, disarankan untuk mengatur waktu eksekusinya secara bertahap dalam jadwal untuk mencegah penumpukan tugas dan konflik sumber daya.

6. Incremental condition

Jika tugas perlu menyinkronkan data inkremental, Anda harus mengonfigurasi kondisi inkremental. Kondisi ini menentukan data mana yang disinkronkan oleh setiap instans terjadwal.

Fungsi dan sintaks
- Fungsi: Kondisi inkremental pada dasarnya adalah klausa WHERE yang memfilter data sumber.
- Sintaks: Saat mengonfigurasi, Anda hanya perlu memasukkan ekspresi kondisional yang mengikuti kata kunci WHERE. Jangan sertakan kata kunci WHERE itu sendiri.
Gunakan parameter penjadwalan untuk sinkronisasi inkremental

Untuk mencapai sinkronisasi inkremental berkala, Anda dapat menggunakan parameter penjadwalan dalam kondisi inkremental. Misalnya, mengonfigurasi kondisi sebagai <span data-tag="ph" id="codeph_rtz_ohk_wy5"><code code-type="xCode" data-tag="code" id="68c36d2fd9h4l">STR_TO_DATE('${bizdate}', '%Y%m%d') <= columnName AND columnName < DATE_ADD(STR_TO_DATE('${bizdate}', '%Y%m%d'), INTERVAL 1 DAY)</span> akan menyinkronkan data yang dibuat pada hari sebelumnya.
Menulis ke partisi tertentu

Dengan menggabungkan kondisi inkremental dengan bidang partisi tabel tujuan, Anda dapat memastikan bahwa setiap batch data inkremental ditulis ke partisi yang benar.

Misalnya, menggunakan kondisi inkremental dari langkah sebelumnya, Anda dapat mengatur bidang partisi menjadi ds=${bizdate} dan mengonfigurasi tabel tujuan agar dipartisi berdasarkan hari. Dengan cara ini, setiap instans harian hanya menyinkronkan data dari tanggal yang sesuai di sumber dan menuliskannya ke partisi yang sesuai di tabel tujuan.

Penting

Dengan menggabungkan dengan tepat rentang waktu yang ditentukan oleh kondisi inkremental, interval waktu untuk pembuatan partisi, dan siklus penjadwalan dari konfigurasi berulang, Anda dapat membuat pipeline ETL inkremental T+n otomatis di mana aturan bisnis dan partisi fisik selaras secara ketat.

Penting

Jika tugas sinkronisasi database batch mengalami pengecualian atau error (misalnya, konfigurasi parameter partisi yang salah menyebabkan data tidak tersinkronkan), pertama-tama klik Stop di luar tugas untuk menghentikannya sepenuhnya. Kemudian perbaiki konfigurasi parameter partisi atau penugasan nilai—termasuk pengaturan apa pun yang terkait dengan kolom sharding tabel sumber—sebelum menerbitkan ulang dan menjalankan kembali tugas tersebut. Hindari menjalankan ulang tugas secara langsung, karena hal ini dapat membuat tugas berada dalam keadaan tidak konsisten.

Langkah 4: Konfigurasi pengaturan lanjutan

Parameter lanjutan

Untuk menyesuaikan tugas sesuai kebutuhan sinkronisasi khusus, ubah parameter lanjutan.

Klik Advanced configuration di pojok kanan atas untuk membuka halaman konfigurasi parameter lanjutan.
Ubah nilai parameter berdasarkan tooltip. Arti setiap parameter dijelaskan di sebelah namanya.
Anda juga dapat menggunakan konfigurasi berbantuan AI dengan memasukkan instruksi bahasa alami, seperti menyesuaikan konkurensi tugas. Model AI akan menghasilkan nilai parameter yang direkomendasikan, yang kemudian dapat Anda tinjau dan terima.

Penting

Ubah parameter ini hanya jika Anda benar-benar memahaminya. Pengaturan yang salah dapat menyebabkan penundaan tugas, konflik sumber daya, atau kehilangan data.

Engine parameters

Anda biasanya tidak perlu mengonfigurasi parameter engine. Jika diperlukan perubahan, gunakan hanya dengan panduan dari dukungan teknis.

Langkah 5: Terapkan dan jalankan tugas

Setelah menyelesaikan semua konfigurasi, klik Save di bagian bawah halaman untuk menyelesaikan konfigurasi tugas.
Anda tidak dapat melakukan debugging tugas sinkronisasi batch secara langsung. Anda harus Deploy ke Operation Center untuk menjalankannya. Oleh karena itu, setiap tugas baru atau yang telah diedit harus diterapkan agar perubahan berlaku.
Saat penerapan, jika Anda memilih Start immediately after deployment, tugas akan mulai secara otomatis. Jika tidak, setelah penerapan selesai, buka halaman Data Integration > Synchronization Task dan mulai tugas secara manual dari kolom Actions.
Klik Name/ID tugas di Tasks untuk melihat proses eksekusi terperinci.
Jika mengklik Start tidak menghasilkan respons setelah penerapan, atau bilah progres tidak diperbarui, pertama-tama periksa log run subtugas yang sesuai di Operation Center untuk mendapatkan detail error spesifik. Juga pastikan apakah Anda memilih Start immediately after deployment saat penerapan, atau mengklik Start secara manual setelah penerapan dari kolom Actions.

Langkah 6: Konfigurasi aturan alert

Anda harus mengonfigurasi aturan alert untuk tugas sinkronisasi database batch pada subtugas yang sesuai di Operation Center.

Di halaman Data Integration > Synchronization Task, dapatkan Task ID dari tugas target.
Di kolom Operation Center > Auto Triggered Task, temukan subtugas offline database lengkap yang sesuai berdasarkan ID tugas integrasi (misalnya, jika ID tugas integrasi adalah 34862, subtugas auto triggered sinkronisasi inkremental bernama offline_odps_cyc_sync_mysql_test_timetest_to_mysql_test_timetest_34862), lalu klik More > Add Alert Rule untuk membuka halaman Manajemen Aturan.
Klik Create Custom Rule dan atur Rule Object, Trigger Method, dan Alert Details. Untuk informasi lebih lanjut, lihat Rule Management.

Anda dapat mencari ID subtugas yang Anda peroleh di Rule Object untuk menemukan tugas target dan mengatur alert untuknya.

Kelola tugas sinkronisasi

Edit tugas

Di halaman Data Integration > Synchronization Task, temukan tugas sinkronisasi yang telah dibuat. Di kolom Operation, klik More, lalu klik Edit untuk mengubah informasi tugas. Langkah-langkahnya sama seperti konfigurasi tugas.
Untuk tugas yang tidak berjalan, Anda dapat langsung mengubah konfigurasi, menyimpannya, dan menerapkannya agar perubahan berlaku.
Untuk tugas yang sedang berjalan, jika Anda mengedit dan menerapkannya tanpa memilih Start immediately after deployment, tombol aksi asli berubah menjadi Apply Updates. Anda harus mengklik tombol ini agar perubahan berlaku di lingkungan produksi.
Setelah Anda mengklik Apply Updates, sistem melakukan tiga langkah pada perubahan tersebut: Stop, Deploy, dan Restart.
- Jika Anda menambahkan tabel:
  
  Setelah Anda mengklik Apply Updates, subtugas sinkronisasi untuk tabel baru ditambahkan. schema migration dan one-time full synchronization tugas tersebut dimulai segera, diikuti oleh incremental synchronization sesuai jadwal.
- Jika Anda mengganti tabel tujuan (yang setara dengan menghapus tabel lama dan menambahkan yang baru):
  
  Setelah Anda mengklik Apply Updates, subtugas tabel lama dihapus, subtugas baru dibuat, dan schema migration serta one-time full synchronization tugas baru dimulai segera. Tugas baru kemudian melakukan sinkronisasi inkremental sesuai jadwal.
- Jika informasi lain diubah:
  
  Schema migration dan one-time full synchronization tabel tetap tidak berubah. Instans yang baru dihasilkan untuk sinkronisasi inkremental akan menggunakan konfigurasi yang diperbarui, sedangkan instans yang sudah dihasilkan tidak terpengaruh.
Tabel yang tidak diubah tidak terpengaruh dan tidak akan dijalankan ulang.

Lihat tugas

Setelah membuat tugas sinkronisasi, lihat daftar tugas dan informasi dasar di halaman tugas sinkronisasi.

Untuk setiap tugas, daftar tugas sinkronisasi menampilkan Task name, Task ID, Data source dan Destination, Task type, dan Status. Kolom berikutnya menunjukkan status tahapan subtugas Schema migration, Full synchronization, dan Incremental synchronization, diikuti oleh Group.

Di kolom Actions, Anda dapat Start atau Stop tugas sinkronisasi. Di menu More, Anda dapat melakukan operasi seperti Edit dan View.
Untuk tugas yang sedang berjalan, Anda dapat melihat status dasar di Execution Overview. Anda juga dapat mengklik area ikhtisar yang sesuai untuk melihat detail eksekusi.

Bagian Basic information di halaman detail tugas menunjukkan ID tugas, sumber data, solusi sinkronisasi, resource group sinkronisasi, status, dan spesifikasi. Bagian Execution status menggunakan bilah progres untuk menunjukkan progres dan persentase penyelesaian tahapan Schema migration, Full synchronization, dan Incremental synchronization. Klik tab tahapan untuk melihat detail sinkronisasi setiap tabel. Detail tersebut mencakup database sumber, tabel sumber, tabel tujuan, connection method, progres, dan jumlah catatan yang ditulis.

Kuota dan batasan

Batasan debugging: Anda tidak dapat melakukan debugging tugas sinkronisasi batch secara langsung di Data Integration atau DataStudio. Anda harus deploy ke Operation Center untuk menjalankannya.
Batasan kolom sharding: Fitur Set source sharding column saat ini hanya mendukung sumber MySQL. Bidang kolom sharding harus bertipe numerik; tipe string, floating-point, atau tanggal tidak didukung.
Batasan perubahan skema: Saat Anda edit destination table schema, mengganti nama kolom tidak didukung. Untuk tabel tujuan yang sudah ada, Anda tidak dapat mengubah Table type-nya.
Batasan deteksi perubahan DDL: Sinkronisasi database batch (offline) tidak secara otomatis mendeteksi perubahan DDL di sumber, seperti penambahan bidang atau perubahan tipe bidang. Setelah skema tabel sumber berubah, tujuan tidak secara otomatis menyinkronkan skema baru. Untuk menyinkronkan bidang yang ditambahkan, hapus dulu tabel tujuan. Kemudian, di halaman pengeditan tugas, buka Destination table mapping, klik Batch refresh mappings untuk memuat ulang skema tabel sumber, dan jalankan ulang sinkronisasi lengkap. Jika Anda perlu menyinkronkan secara otomatis perubahan DDL di sumber, gunakan sinkronisasi database batch real-time, yang menyediakan DDL support settings di pengaturan lanjutan.
Batasan operasi tingkat bidang: Menghapus, memfilter, atau melewatkan bidang tertentu (seperti bidang berformat XML) tidak didukung, dan pemetaan bidang kustom juga tidak didukung. Jika Anda perlu menghapus bidang atau menerapkan transformasi kompleks, gunakan tugas sinkronisasi offline tabel tunggal sebagai gantinya, atau proses data dengan node kode (Spark atau Python).
Batasan sensitivitas huruf besar/kecil: Secara default, nama tabel dan bidang diubah menjadi huruf kecil sebelum ditulis ke tujuan, sehingga transfer yang peka huruf besar/kecil (misalnya, untuk PostgreSQL) tidak didukung. Jika sinkronisasi gagal karena sumber berisi tabel yang peka huruf besar/kecil, disarankan untuk mengganti nama tabel sumber menjadi huruf kecil, atau menggunakan sinkronisasi offline tabel tunggal sebagai gantinya.
Batasan deskripsi metadata: Deskripsi tabel sumber tidak dapat ditampilkan atau dipetakan langsung ke tujuan. Anda hanya dapat mengonfigurasi deskripsi bidang secara manual saat membuat tabel tujuan baru.

Langkah berikutnya

Setelah tugas dimulai, klik nama tugas untuk melihat detail run dan melakukan operasi, maintenance (O&M), dan tuning.

FAQ

Untuk pertanyaan umum tentang tugas sinkronisasi database batch, lihat FAQ about full and incremental synchronization tasks.

Q: Jika satu tabel gagal disinkronkan dalam tugas sinkronisasi database batch, apakah memengaruhi tabel lainnya?

A: Jika tidak ada dependensi hulu atau hilir antar tabel dalam tugas Data Integration, kegagalan sinkronisasi satu tabel tidak memengaruhi sinkronisasi tabel lainnya. Hanya subtugas untuk tabel tersebut yang gagal, sedangkan tabel lainnya tetap berjalan normal.

Q: Apa yang harus saya lakukan jika bidang yang ditambahkan di tabel sumber tidak tersinkronkan ke tabel tujuan dalam tugas sinkronisasi database batch (offline)?

A: Sinkronisasi database batch (offline) tidak secara otomatis mendeteksi perubahan DDL di sumber. Oleh karena itu, bidang sumber yang ditambahkan tidak secara otomatis tercermin di tujuan. Untuk menyinkronkan bidang yang ditambahkan, hapus dulu tabel tujuan. Kemudian, di halaman pengeditan tugas, buka Destination table mapping, klik Batch refresh mappings untuk memuat ulang skema tabel sumber, dan jalankan ulang sinkronisasi lengkap. Jika bisnis Anda memerlukan sinkronisasi otomatis bidang sumber yang ditambahkan, gunakan sinkronisasi database batch real-time sebagai gantinya. Pengaturan lanjutannya menyediakan DDL support settings, tempat Anda dapat mengonfigurasi kebijakan pemrosesan untuk event DDL berikut: create table, drop table, add column, drop column, rename table, rename column, modify column type, dan truncate table. Event add column diproses secara normal secara default.

Lebih banyak kasus penggunaan

Lihat Batch database synchronization use cases.