DataWorks：Sumber data SelectDB

Parameter

Deskripsi

Diperlukan

Nilai default

datasource

Nama sumber data. Editor kode mendukung penambahan sumber data. Nilai parameter ini harus sama dengan nama sumber data yang telah ditambahkan.

Ya

Tidak ada

table

Nama tabel yang ingin Anda sinkronkan.

Ya

Tidak ada

column

Kolom di tabel target ke mana Anda ingin menulis data. Pisahkan nama kolom dengan koma (,). Contohnya, "column":["id","name","age"]. Jika Anda ingin menulis data ke semua kolom secara berurutan, gunakan (*). Contohnya, "column":["*"].

Ya

Tidak ada

preSql

Pernyataan SQL yang akan dieksekusi sebelum tugas sinkronisasi data berjalan. Antarmuka tanpa kode hanya mendukung satu pernyataan SQL. Editor kode mendukung beberapa pernyataan SQL. Contohnya, Anda dapat membersihkan data lama dari sebuah tabel sebelum tugas berjalan.

Tidak

Tidak ada

postSql

Pernyataan SQL yang akan dieksekusi setelah tugas sinkronisasi data berjalan. Antarmuka tanpa kode hanya mendukung satu pernyataan SQL. Editor kode mendukung beberapa pernyataan SQL. Contohnya, Anda dapat menambahkan timestamp setelah tugas berjalan.

Tidak

Tidak ada

maxBatchRows

Jumlah maksimum baris dalam setiap batch data yang akan diimpor. Parameter ini dan parameter batchSize mengontrol ukuran impor setiap batch. Ketika data dalam batch mencapai salah satu ambang batas, impor batch tersebut dimulai.

Tidak

500000

batchSize

Volume data maksimum dari setiap batch data yang akan diimpor. Parameter ini dan parameter maxBatchRows mengontrol ukuran impor setiap batch. Ketika data dalam batch mencapai salah satu ambang batas, impor batch tersebut dimulai.

Tidak

94371840

maxRetries

Jumlah percobaan ulang setelah batch data gagal diimpor.

Tidak

3

labelPrefix

Awalan label untuk setiap file yang diunggah. Label akhir terdiri dari labelPrefix + UUID untuk membentuk label unik secara global. Hal ini memastikan bahwa data tidak diimpor berulang kali.

Tidak

datax_selectdb_writer_

loadProps

Parameter permintaan untuk COPY INTO. Parameter ini terutama digunakan untuk mengonfigurasi format data yang diimpor. Secara default, data diimpor dalam format JSON. Jika loadProps tidak dikonfigurasi atau disetel ke "loadProps":{}, format JSON default digunakan, seperti yang ditunjukkan dalam konfigurasi berikut. (Saat ini, SelectDB hanya mendukung strip_outer_array=true).

"loadProps": {
    "format": "json",
    "strip_outer_array":true
}

Untuk mengimpor data dalam format CSV, Anda dapat menentukan format sebagai CSV dan mengonfigurasi pemisah baris dan kolom, seperti yang ditunjukkan dalam contoh berikut. Jika Anda tidak menentukan pemisah baris dan kolom, semua data yang diimpor akan dikonversi menjadi string. Karakter tab (\t) digunakan sebagai pemisah kolom, dan karakter baris baru (\n) digunakan sebagai pemisah baris. Data ini kemudian digabungkan menjadi file CSV untuk diimpor ke SelectDB.

"loadProps": {
    "format":"csv",
    "column_separator": "\\x01",
    "line_delimiter": "\\x02"
}

Tidak

Tidak ada

clusterName

Nama kluster SelectDB Cloud. Anda dapat melihat nama tersebut di Konsol SelectDB.

Tidak

Tidak ada

flushInterval

Interval waktu untuk menulis batch data, dalam milidetik. Jika nilai parameter maxBatchRows dan batchSize besar, sistem mungkin mengimpor data berdasarkan interval penulisan sebelum volume data yang ditentukan tercapai.

Tidak

30000