DataWorks：Sumber data PolarDB

Pembacaan dan penulisan data batch

Data dari Tampilan dapat dibaca.

Pembacaan data real-time

Jika sumber tugas sinkronisasi adalah kluster PolarDB untuk MySQL, fitur pencatatan biner harus diaktifkan. PolarDB untuk MySQL sepenuhnya kompatibel dengan MySQL dan menggunakan log fisik tingkat tinggi sebagai pengganti log biner. Untuk memfasilitasi integrasi dengan ekosistem MySQL, Anda dapat mengaktifkan fitur pencatatan biner pada kluster PolarDB.

Konfigurasikan daftar putih alamat IP

Tambahkan blok CIDR dari virtual private cloud (VPC) tempat grup sumber daya eksklusif untuk Data Integration berada ke daftar putih alamat IP kluster PolarDB untuk MySQL.

Aktifkan fitur pencatatan biner

Untuk informasi lebih lanjut, lihat Aktifkan Pencatatan Biner.

Tambahkan sumber data

Sebelum mengembangkan tugas sinkronisasi data di DataWorks, tambahkan sumber data yang diperlukan dengan mengikuti petunjuk di Manajemen Sumber Data. Tip info parameter tersedia di konsol DataWorks untuk membantu memahami arti parameter saat menambahkan sumber data.

Konfigurasikan tugas sinkronisasi batch untuk menyinkronkan data tabel tunggal

• Untuk informasi lebih lanjut tentang prosedur konfigurasi, lihat Konfigurasikan Tugas Sinkronisasi Batch Menggunakan UI Tanpa Kode dan Konfigurasikan Tugas Sinkronisasi Batch Menggunakan Editor Kode.

• Untuk informasi tentang semua parameter yang dikonfigurasi dan kode yang dijalankan saat menggunakan editor kode, lihat Lampiran: Kode dan Parameter.

Konfigurasikan tugas sinkronisasi real-time untuk menyinkronkan data tabel tunggal atau menyinkronkan semua data dalam database

Untuk informasi lebih lanjut tentang prosedur konfigurasi, lihat Konfigurasikan Tugas Sinkronisasi Real-Time di DataStudio.

Konfigurasikan pengaturan sinkronisasi untuk menerapkan sinkronisasi batch semua data dalam database dan sinkronisasi real-time data tabel tunggal atau data penuh atau data tambahan dalam database

Untuk informasi lebih lanjut tentang prosedur konfigurasi, lihat Konfigurasikan Tugas Sinkronisasi di Data Integration.

Konfigurasikan tugas sinkronisasi batch menggunakan editor kode

Untuk mengonfigurasi tugas sinkronisasi batch menggunakan editor kode, konfigurasikan parameter terkait dalam skrip sesuai format seragam. Untuk informasi lebih lanjut, lihat Konfigurasikan Tugas Sinkronisasi Batch Menggunakan Editor Kode. Informasi berikut menjelaskan parameter yang harus dikonfigurasi untuk sumber data.

Parameter dalam kode untuk PolarDB Reader

Parameter dalam kode untuk PolarDB Writer

• Parameter dalam kode untuk PolarDB Writer

  Parameter	Deskripsi	Diperlukan	Nilai default
  datasource	Nama sumber data. Harus sama dengan nama sumber data yang ditambahkan. Anda dapat menambahkan sumber data menggunakan editor kode.	Ya	Tidak ada nilai default
  table	Nama tabel yang berisi data yang ingin Anda baca.	Ya	Tidak ada nilai default
  writeMode	Mode penulisan. Nilai valid: insert: Mode ini setara dengan INSERT INTO pada UI tanpa kode. update (setara dengan ON DUPLICATE KEY UPDATE pada UI tanpa kode) replace: Mode ini setara dengan REPLACE INTO pada UI tanpa kode. Untuk informasi lebih lanjut tentang mode penulisan dan contoh data, lihat Deskripsi parameter writeMode. Catatan Saat tujuan adalah PolarDB untuk PostgreSQL, hanya mode insert yang didukung. Untuk memperbarui data dan menghindari konflik kunci utama, kami sarankan menghapus catatan duplikat di tabel tujuan sebelum melakukan sinkronisasi batch. Anda dapat menggunakan salah satu pendekatan berikut: Pendekatan 1: Konfigurasikan pernyataan TRUNCATE dalam parameter preSql (setara dengan a statement to be executed before data is written to the destination on the codeless UI) untuk membersihkan tabel tujuan. Pendekatan 2: Proses tabel tujuan di node hulu dari node sinkronisasi batch untuk memastikan tidak ada konflik kunci utama yang terjadi selama sinkronisasi data.	Tidak	insert
  column	Nama kolom ke mana Anda ingin menulis data. Pisahkan nama dengan koma (,), Contoh: "column":["id","name","age"]. Jika Anda ingin menulis data ke semua kolom di tabel tujuan, atur parameter ini ke asterisk (*), seperti "column":["*"].	Ya	Tidak ada nilai default
  preSql	Pernyataan SQL yang ingin Anda jalankan sebelum tugas sinkronisasi batch dijalankan. Sebagai contoh, Anda dapat menyetel parameter ini ke pernyataan SQL yang digunakan untuk menghapus data usang. Anda hanya dapat menjalankan satu pernyataan SQL pada UI tanpa kode dan beberapa pernyataan SQL di editor kode.	Tidak	Tidak ada nilai default
  postSql	Pernyataan SQL yang ingin Anda jalankan setelah tugas sinkronisasi batch dijalankan. Sebagai contoh, Anda dapat menyetel parameter ini ke pernyataan SQL yang digunakan untuk menambahkan timestamp. Anda hanya dapat menjalankan satu pernyataan SQL pada UI tanpa kode dan beberapa pernyataan SQL di editor kode.	Tidak	Tidak ada nilai default
  batchSize	Jumlah catatan data yang ditulis sekaligus. Atur parameter ini ke nilai yang sesuai berdasarkan kebutuhan bisnis Anda. Ini sangat mengurangi interaksi antara Data Integration dan PolarDB serta meningkatkan throughput. Jika Anda menyetel parameter ini ke nilai yang terlalu besar, kesalahan out of memory (OOM) mungkin terjadi selama sinkronisasi data.	Tidak	1.024
  updateColumn	Nama kolom yang diperbarui saat terjadi konflik kunci utama atau konflik indeks unik. Parameter ini hanya berlaku saat parameter writeMode disetel ke update. Pisahkan nama dengan koma (,), seperti "updateColumn": ["name", "age"]. Catatan Hanya sumber data PolarDB untuk MySQL yang mendukung parameter ini.	Tidak	Tidak ada nilai default

• Deskripsi parameter writeMode

  Item	insert (setara dengan INSERT INTO pada UI tanpa kode)	update (setara dengan ON DUPLICATE KEY UPDATE pada UI tanpa kode)	replace (setara dengan REPLACE INTO pada UI tanpa kode)
  Aturan Pemrosesan	Jika terjadi konflik kunci utama atau indeks unik, data tidak ditulis ke baris yang bertentangan, dan data yang tidak ditulis dianggap sebagai data kotor.	Jika tidak ada konflik kunci utama atau indeks unik, data diproses seperti saat menyetel parameter ini ke insert. Jika terjadi konflik, data di baris yang bertentangan di tabel tujuan diganti dengan data baru.	Jika tidak ada konflik kunci utama atau indeks unik, data diproses seperti saat menyetel parameter ini ke insert. Jika terjadi konflik, baris asli dihapus, dan baris baru dimasukkan. Ini menunjukkan bahwa semua bidang baris asli diganti.
  Contoh Data	Data di tabel sumber +----+---------+-----+ | id | name | age | +----+---------+-----+ | 1 | zhangsan| 1 | | 2 | lisi | | +----+---------+-----+ Data asli di tabel tujuan +----+---------+-----+ | id | name | age | +----+---------+-----+ | 2 | wangwu | | +----+---------+-----+ Setelah tugas sinkronisasi batch dijalankan, satu catatan data ditulis ke tabel tujuan, dan satu catatan data dihasilkan. +----+---------+-----+ | id | name | age | +----+---------+-----+ | 1 | zhangsan| 1 | | 2 | wangwu | | +----+---------+-----+	Skenario 1: Hanya beberapa kolom yang ditentukan: "column": ["id","name"]. Data di tabel sumber +----+---------+-----+ | id | name | age | +----+---------+-----+ | 1 | zhangsan| 1 | | 2 | lisi | | +----+---------+-----+ Data asli di tabel tujuan +----+---------+-----+ | id | name | age | +----+---------+-----+ | 2 | wangwu | 3 | +----+---------+-----+ Setelah tugas sinkronisasi batch dijalankan, dua catatan data ditulis ke tabel tujuan, dan tidak ada catatan data kotor yang dihasilkan. +----+---------+-----+ | id | name | age | +----+---------+-----+ | 1 | zhangsan| 1 | | 2 | lisi | 3 | +----+---------+-----+ Skenario 2: Semua kolom ditentukan: "column": ["id","name","age"]. Data di tabel sumber +----+---------+-----+ | id | name | age | +----+---------+-----+ | 1 | zhangsan| 1 | | 2 | lisi | | +----+---------+-----+ Data asli di tabel tujuan +----+---------+-----+ | id | name | age | +----+---------+-----+ | 2 | wangwu | 3 | +----+---------+-----+ Setelah tugas sinkronisasi batch dijalankan, dua catatan data ditulis ke tabel tujuan, dan tidak ada catatan data kotor yang dihasilkan. +----+---------+-----+ | id | name | age | +----+---------+-----+ | 1 | zhangsan| 1 | | 2 | lisi | | +----+---------+-----+	Data di tabel sumber +----+---------+-----+ | id | name | age | +----+---------+-----+ | 1 | zhangsan| 1 | | 2 | lisi | | +----+---------+-----+ Data asli di tabel tujuan +----+---------+-----+ | id | name | age | +----+---------+-----+ | 2 | wangwu | 3 | +----+---------+-----+ Setelah tugas sinkronisasi batch dijalankan, dua catatan data ditulis ke tabel tujuan, dan tidak ada catatan data kotor yang dihasilkan. +----+---------+-----+ | id | name | age | +----+---------+-----+ | 1 | zhangsan| 1 | | 2 | lisi | | +----+---------+-----+