DataWorks：Sumber Data PolarDB-X 2.0

Parameter

Deskripsi

Diperlukan

Nilai Default

datasource

Nama sumber data. Harus sama dengan nama sumber data yang Anda tambahkan di halaman manajemen sumber data.

Ya

Tidak ada nilai default

table

Nama tabel dari mana Anda ingin membaca data. Setiap tugas sinkronisasi hanya dapat digunakan untuk menyinkronkan data dari satu tabel.

Ya

Tidak ada nilai default

column

Nama kolom dari mana Anda ingin membaca data. Tentukan nama dalam array JSON. Nilai defaultnya adalah [*], yang menunjukkan semua kolom dalam tabel sumber.

• Anda dapat memilih kolom tertentu untuk dibaca.

• Urutan kolom dapat diubah. Ini menunjukkan bahwa Anda dapat menentukan kolom dalam urutan yang berbeda dari urutan yang ditentukan oleh skema tabel sumber.

• Konstanta didukung. Nama kolom harus diatur sesuai dengan sintaks SQL yang didukung oleh PolarDB-X 2.0, seperti ["id","table","1","'mingya.wmy'","'null'","to_char(a+1)","2.3","true"].

  • id: nama kolom.

  • table: nama kolom yang berisi kata kunci cadangan.

  • 1: konstanta integer.

  • 'mingya.wmy': konstanta string, yang diapit oleh tanda kutip tunggal (').

  • null:

    • " " menunjukkan string kosong.

    • null menunjukkan nilai null.

    • 'null' menunjukkan string null.

  • to_char(a+1): ekspresi fungsi yang digunakan untuk menghitung panjang string.

  • 2.3: konstanta floating-point.

  • true: nilai Boolean.

• Parameter column harus secara eksplisit menentukan semua kolom dari mana Anda ingin membaca data. Parameter ini tidak boleh dibiarkan kosong.

Ya

Tidak ada nilai default

splitPk

field yang digunakan untuk sharding data saat PolarDB-X 2.0 Reader membaca data. Jika Anda mengonfigurasi parameter ini, tabel sumber di-sharding berdasarkan nilai parameter ini. Kemudian, thread paralel dijalankan untuk membaca data. Dengan cara ini, data dapat disinkronkan lebih efisien.

• Kami merekomendasikan agar Anda menyetel parameter splitPk ke nama kolom kunci utama tabel. Data dapat didistribusikan secara merata ke shard yang berbeda berdasarkan kolom kunci utama, bukan hanya terdistribusi intensif ke shard tertentu.

• Parameter splitPk harus disetel ke field dengan tipe data integer. Jika Anda menyetel parameter splitPk ke field dengan tipe data yang tidak didukung, seperti string, floating point, atau tanggal, pengaturan parameter ini diabaikan, dan thread tunggal digunakan untuk membaca data.

• Jika parameter splitPk tidak terdapat dalam kode untuk PolarDB-X 2.0 Reader atau dibiarkan kosong, thread tunggal digunakan untuk membaca data.

Tidak

Tidak ada nilai default

where

Klausa WHERE. Misalnya, Anda dapat menyetel parameter ini ke gmt_create>$bizdate</ untuk membaca data yang dihasilkan pada hari saat ini.

• Anda dapat menggunakan klausa WHERE untuk membaca data tambahan. Jika parameter where tidak disediakan atau dibiarkan kosong, PolarDB-X 2.0 Reader membaca semua data.

• Jangan menyetel parameter where ke LIMIT 10. Nilai ini tidak sesuai dengan batasan PolarDB-X 2.0 pada klausa SQL WHERE.

Tidak

Tidak ada nilai default

checkSlave

Menentukan apakah akan memeriksa latensi sinkronisasi data antara instance utama dan instance sekunder baca-saja. Jika Anda menambahkan instance baca-saja PolarDB-X 2.0 sebagai sumber data, Anda harus memeriksa latensi sinkronisasi data antara instance baca-saja dan instance utama sebelum menjalankan tugas sinkronisasi data. Ini membantu mencegah kehilangan data yang disebabkan oleh latensi.

Tidak

true

slaveDelayLimit

Latensi maksimum sinkronisasi data antara instance utama dan instance baca-saja, dalam detik. Jika latensi melebihi nilai parameter ini, tugas sinkronisasi data gagal. Ini membantu mencegah kehilangan data yang disebabkan oleh latensi.

Tidak

30

Parameter

Deskripsi

Diperlukan

Nilai Default

datasource

Nama sumber data. Harus sama dengan nama sumber data yang Anda tambahkan di halaman manajemen sumber data.

Ya

Tidak ada nilai default

table

Nama tabel ke mana Anda ingin menulis data.

Ya

Tidak ada nilai default

writeMode

Mode penulisan. Nilai valid:

• insert into: Jika terjadi konflik kunci utama atau indeks unik, data tidak dapat ditulis ke baris yang bertentangan, dan data yang tidak ditulis ke baris tersebut dianggap sebagai data kotor. Jika Anda mengonfigurasi tugas sinkronisasi menggunakan editor kode, atur writeMode ke insert.

• replace into: Jika tidak terjadi konflik kunci utama atau indeks unik, data diproses dengan cara yang sama seperti saat Anda menyetel parameter ini ke insert into. Jika terjadi konflik, baris asli dihapus, dan baris baru dimasukkan. Ini menunjukkan bahwa semua bidang baris asli diganti. Jika Anda membuat tugas sinkronisasi menggunakan editor kode, atur writeMode ke replace.

Tidak

insert

column

Nama kolom ke mana Anda ingin menulis data. Pisahkan nama dengan koma (,), seperti "column": ["id", "name", "age"]. Jika Anda ingin menulis data ke semua kolom di tabel tujuan, atur parameter ini ke asterisk (*), seperti "column": ["*"].

Ya

Tidak ada nilai default

preSql

Pernyataan SQL yang ingin Anda jalankan sebelum tugas sinkronisasi dijalankan. Anda hanya dapat menjalankan satu pernyataan SQL di UI tanpa kode dan beberapa pernyataan SQL di editor kode. Misalnya, Anda dapat menyetel parameter ini ke pernyataan SQL berikut untuk menghapus data usang sebelum tugas sinkronisasi dijalankan:

-- tablename menunjukkan nama tabel.
truncate table tablename;

Tidak

Tidak ada nilai default

postSql

Pernyataan SQL yang ingin Anda jalankan setelah tugas sinkronisasi dijalankan. Anda hanya dapat menjalankan satu pernyataan SQL di UI tanpa kode dan beberapa pernyataan SQL di editor kode. Misalnya, Anda dapat menyetel parameter ini ke pernyataan berikut untuk menambahkan timestamp setelah tugas sinkronisasi dijalankan:

-- tablename menunjukkan nama tabel, dan colname menunjukkan nama kolom.
alter table tablename 
add colname timestamp DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP;

Tidak

Tidak ada nilai default

batchSize

Jumlah catatan data yang ditulis sekaligus. Atur parameter ini ke nilai yang sesuai berdasarkan kebutuhan bisnis Anda. Ini sangat mengurangi interaksi antara Data Integration dan PolarDB-X 2.0 dan meningkatkan throughput. Jika Anda menyetel parameter ini ke nilai yang terlalu besar, kesalahan out of memory (OOM) mungkin terjadi selama sinkronisasi data.

Tidak

256