DataWorks:SelectDB

Parameter

Deskripsi

Wajib

Nilai default

datasource

Nama sumber data. Editor kode mendukung penambahan sumber data. Nilai parameter ini harus sama dengan nama sumber data yang telah ditambahkan.

Ya

Tidak ada

table

Nama tabel yang ingin Anda sinkronkan.

Ya

Tidak ada

column

Kolom dalam tabel target tempat Anda ingin menulis data. Pisahkan nama kolom dengan koma (,). Contohnya, "column":["id","name","age"]. Jika Anda ingin menulis data ke semua kolom secara berurutan, gunakan (*). Contohnya, "column":["*"].

Ya

Tidak ada

preSql

Pernyataan SQL yang akan dieksekusi sebelum task sinkronisasi data dijalankan. Antarmuka tanpa kode hanya mendukung satu pernyataan SQL. Editor kode mendukung beberapa pernyataan SQL. Misalnya, Anda dapat menghapus data lama dari tabel sebelum task dijalankan.

Tidak

Tidak ada

postSql

Pernyataan SQL yang akan dieksekusi setelah task sinkronisasi data dijalankan. Antarmuka tanpa kode hanya mendukung satu pernyataan SQL. Editor kode mendukung beberapa pernyataan SQL. Misalnya, Anda dapat menambahkan timestamp setelah task dijalankan.

Tidak

Tidak ada

maxBatchRows

Jumlah maksimum baris dalam setiap batch data yang akan diimpor. Parameter ini dan parameter batchSize mengontrol ukuran impor setiap batch. Ketika data dalam suatu batch mencapai salah satu ambang batas tersebut, impor batch tersebut dimulai.

Tidak

500000

batchSize

Volume data maksimum setiap batch data yang akan diimpor. Parameter ini dan parameter maxBatchRows mengontrol ukuran impor setiap batch. Ketika data dalam suatu batch mencapai salah satu ambang batas tersebut, impor batch tersebut dimulai.

Tidak

94371840

maxRetries

Jumlah percobaan ulang setelah impor batch data gagal.

Tidak

3

labelPrefix

Awalan label untuk setiap file yang diunggah. Label akhir terdiri dari labelPrefix + UUID untuk membentuk label unik global. Hal ini memastikan data tidak diimpor berulang kali.

Tidak

datax_selectdb_writer_

loadProps

Parameter permintaan untuk COPY INTO terutama digunakan untuk mengonfigurasi format impor data. Secara default, data diimpor dalam format JSON. Jika parameter loadProps tidak ditentukan atau diatur ke "loadProps":{}, format JSON default digunakan. Konfigurasinya sebagai berikut. (Saat ini, SelectDB hanya mendukung strip_outer_array=true).

"loadProps": {
    "format": "json",
    "strip_outer_array":true
}

Untuk mengimpor data dalam format CSV, Anda dapat menentukan format sebagai CSV dan mengonfigurasi pemisah baris dan kolom, seperti pada contoh berikut. Jika Anda tidak menentukan pemisah baris dan kolom, semua data yang diimpor akan dikonversi menjadi string. Karakter tab (\t) digunakan sebagai pemisah kolom, dan karakter newline (\n) digunakan sebagai pemisah baris. Data ini kemudian digabungkan menjadi file CSV untuk diimpor ke SelectDB.

"loadProps": {
    "format":"csv",
    "column_separator": "\\x01",
    "line_delimiter": "\\x02"
}

Tidak

Tidak ada

clusterName

Nama kluster SelectDB Cloud. Anda dapat melihat nama tersebut di Konsol SelectDB.

Tidak

Tidak ada

flushInterval

Interval waktu untuk menulis batch data, dalam milidetik. Jika nilai parameter maxBatchRows dan batchSize besar, sistem mungkin mengimpor data berdasarkan interval penulisan sebelum volume data yang ditentukan tercapai.

Tidak

30000