DataWorks：Sumber data Doris

Parameter

Deskripsi

Wajib

Nilai default

datasource

Nama sumber data. Anda dapat menambahkan sumber data di editor kode. Nilai parameter ini harus sama dengan nama sumber data yang ditambahkan.

Ya

Tidak ada

table

Nama tabel sumber dari mana Anda ingin menyinkronkan data. Tugas integrasi data hanya dapat membaca data dari satu tabel.

Contoh berikut menunjukkan penggunaan lanjutan parameter table untuk mengonfigurasi rentang:

• Anda dapat mengonfigurasi rentang untuk membaca data dari database dan tabel yang di-shard. Misalnya, 'table_[0-99]' menentukan bahwa data dibaca dari 'table_0', 'table_1', 'table_2', hingga 'table_99'.

• Jika akhiran numerik nama tabel Anda memiliki panjang yang sama, seperti 'table_000', 'table_001', 'table_002', hingga 'table_999', Anda dapat menyetel parameter menjadi '"table": ["table_00[0-9]", "table_0[10-99]", "table_[100-999]"]'.

Ya

Tidak ada

column

Kolom di tabel sumber dari mana Anda ingin menyinkronkan data. Gunakan array JSON untuk menggambarkan informasi bidang. Secara default, semua kolom digunakan. Contoh: [ * ].

• Mendukung pemilihan kolom: Anda dapat memilih kolom tertentu untuk diekspor.

• Mendukung pengubahan urutan kolom: Anda dapat mengekspor kolom dalam urutan yang berbeda dari skema tabel.

• Mendukung konfigurasi konstanta: Anda harus mengikuti sintaks SQL Doris. Contoh: ["id","table","1","'mingya.wmy'","'null'","to_char(a+1)","2.3","true"] .

  • id adalah nama kolom biasa.

  • table adalah nama kolom yang juga merupakan kata terbatas.

  • 1 adalah konstanta bilangan bulat.

  • 'mingya.wmy' adalah konstanta string. Perhatikan bahwa harus diapit tanda kutip tunggal.

  • Tentang null:

    • " " menunjukkan string kosong.

    • null menunjukkan nilai null.

    • 'null' menunjukkan string "null".

  • to_char(a+1) adalah fungsi yang menghitung panjang string.

  • 2.3 adalah bilangan titik mengambang.

  • true adalah Nilai Boolean.

• Anda harus secara eksplisit menentukan kolom untuk sinkronisasi dalam parameter column. Parameter ini tidak boleh kosong.

Ya

Tidak ada

splitFactor

Faktor sharding. Anda dapat mengonfigurasi jumlah shard untuk sinkronisasi data. Jika Anda mengonfigurasi beberapa thread konkuren, data di-shard menjadi jumlah shard sebesar Concurrency × splitFactor. Misalnya, jika Concurrency adalah 5 dan splitFactor adalah 5, data di-shard menjadi 5 × 5 = 25 shard dan diproses oleh lima thread konkuren.

Tidak

5

splitPk

Saat Doris Reader mengekstraksi data, jika Anda menentukan parameter splitPk, data di-shard berdasarkan bidang yang ditentukan. Hal ini memungkinkan tugas sinkronisasi data konkuren dan meningkatkan efisiensi.

• Kami merekomendasikan agar Anda menggunakan kunci primer tabel untuk splitPk. Hal ini karena nilai dalam kolom kunci primer biasanya terdistribusi merata, yang mencegah hot spot data di shard.

• Saat ini, splitPk hanya mendukung sharding untuk data bilangan bulat. Tidak mendukung string, bilangan titik mengambang, tanggal, atau tipe data lainnya. Jika Anda menentukan tipe data yang tidak didukung, fitur splitPk diabaikan, dan data disinkronkan dalam satu saluran.

• Jika Anda tidak menentukan parameter splitPk, atau nilainya kosong, data disinkronkan dalam satu saluran.

Tidak

Tidak ada

where

Kondisi filter. Dalam skenario bisnis, Anda mungkin hanya ingin menyinkronkan data dari hari ini. Dalam hal ini, Anda dapat menyetel kondisi where menjadi gmt_create>$bizdate.

• Kondisi where memungkinkan sinkronisasi data inkremental yang efisien. Jika Anda tidak menentukan klausa where, termasuk menghilangkan kunci atau nilainya, semua data disinkronkan.

• Anda tidak dapat menyetel kondisi where menjadi limit 10. Hal ini tidak sesuai dengan batasan klausa WHERE SQL Doris.

Tidak

Tidak ada

querySql (Parameter ini hanya tersedia di editor kode.)

Dalam beberapa skenario bisnis, parameter where mungkin tidak cukup untuk menggambarkan kondisi filter. Anda dapat menggunakan parameter ini untuk menyesuaikan pernyataan SQL filter. Jika Anda mengonfigurasi parameter ini, sistem sinkronisasi data mengabaikan parameter tabel, kolom, dan splitPk serta menggunakan pernyataan SQL yang ditentukan oleh parameter ini untuk memfilter data. Misalnya, untuk menggabungkan beberapa tabel sebelum menyinkronkan data, gunakan select a,b from table_a join table_b on table_a.id = table_b.id. Saat Anda mengonfigurasi parameter querySql, Doris Reader mengabaikan parameter table, column, where, dan splitPk. Parameter querySql memiliki prioritas lebih tinggi daripada parameter table, column, where, dan splitPk. Parameter datasource digunakan untuk mengurai informasi seperti nama pengguna dan kata sandi.

Tidak

Tidak ada

Parameter

Deskripsi

Wajib

Nilai default

datasource

Nama sumber data. Anda dapat menambahkan sumber data di editor kode. Nilai parameter ini harus sama dengan nama sumber data yang ditambahkan.

Ya

Tidak ada

table

Nama tabel tujuan tempat Anda ingin menyinkronkan data.

Ya

Tidak ada

column

Kolom di tabel tujuan tempat Anda ingin menulis data. Pisahkan nama kolom dengan koma (,). Contoh: "column":["id","name","age"]. Untuk menulis data ke semua kolom secara berurutan, gunakan (*). Contoh: "column":["*"].

Ya

Tidak ada

preSql

Pernyataan SQL yang dijalankan sebelum tugas sinkronisasi data dijalankan. Di Antarmuka tanpa kode, Anda hanya dapat menjalankan satu pernyataan SQL. Di editor kode, Anda dapat menjalankan beberapa pernyataan SQL. Misalnya, Anda dapat menghapus data lama dari tabel sebelum tugas dijalankan.

Tidak

Tidak ada

postSql

Pernyataan SQL yang dijalankan setelah tugas sinkronisasi data dijalankan. Di Antarmuka tanpa kode, Anda hanya dapat menjalankan satu pernyataan SQL. Di editor kode, Anda dapat menjalankan beberapa pernyataan SQL. Misalnya, Anda dapat menambahkan stempel waktu setelah tugas dijalankan.

Tidak

Tidak ada

maxBatchRows

Jumlah maksimum baris dalam setiap batch data yang diimpor. Parameter ini dan batchSize mengontrol ukuran impor setiap batch. Ketika data dalam satu batch mencapai salah satu dari dua ambang batas tersebut, impor batch tersebut dimulai.

Tidak

500000

batchSize

Volume data maksimum setiap batch data yang diimpor. Parameter ini dan maxBatchRows mengontrol ukuran impor setiap batch. Ketika data dalam satu batch mencapai salah satu dari dua ambang batas tersebut, impor batch tersebut dimulai.

Tidak

104857600

maxRetries

Jumlah percobaan ulang setelah impor batch gagal.

Tidak

3

labelPrefix

Awalan label untuk setiap file yang diunggah. Label akhir adalah label unik global yang terdiri dari labelPrefix + UUID. Hal ini memastikan bahwa data tidak diimpor berulang kali.

Tidak

datax_doris_writer_

loadProps

Parameter permintaan untuk StreamLoad. Parameter ini terutama digunakan untuk mengonfigurasi format data yang diimpor. Secara default, data diimpor dalam format CSV. Jika Anda tidak mengonfigurasi parameter loadProps, format CSV default digunakan. Pemisah kolom adalah \t dan pemisah baris adalah \n. Konfigurasinya sebagai berikut.

"loadProps": {
    "format":"csv",
    "column_separator": "\t",
    "line_delimiter": "\n"
}

Jika Anda ingin mengimpor data dalam format JSON, gunakan konfigurasi berikut.

"loadProps": {
    "format": "json"
}

Tidak

Tidak ada