DataWorks:Sumber data StarRocks

Parameter

Deskripsi

Wajib

Default

datasource

Nama sumber data StarRocks.

Ya

Tidak ada

selectedDatabase

Nama database StarRocks.

Tidak

Nama database yang dikonfigurasi untuk sumber data StarRocks.

column

Kolom tabel sumber yang akan disinkronkan. Untuk menambahkan hint SET_VAR saat membaca data dari StarRocks, tambahkan hint tersebut sebelum nama kolom pertama dalam array kolom. Misalnya, untuk menyinkronkan kolom id dengan hint SET_VAR(enable_spill = true), atur parameter column menjadi [ "/*+ SET_VAR(enable_spill = true)*/ id"].

Ya

Tidak ada

where

Kondisi filter. Misalnya, untuk menyinkronkan hanya data yang dihasilkan pada hari ini, atur kondisi where menjadi gmt_create>${bizdate}.

• Kondisi where memungkinkan sinkronisasi data inkremental.

• Jika Anda tidak memberikan klausa where atau membiarkan parameter where kosong, sinkronisasi data penuh akan dilakukan.

Tidak

Tidak ada

table

Tabel sumber dari mana Anda ingin menyinkronkan data.

Ya

Tidak ada

splitPk

Kolom yang digunakan untuk pemecahan data paralel selama sinkronisasi. Menentukan parameter ini meningkatkan kinerja. Untuk hasil terbaik, gunakan primary key tabel, karena kunci yang terdistribusi merata membantu mencegah hot spot data.

Tidak

Tidak ada

Parameter

Deskripsi

Wajib

Default

datasource

Nama sumber data StarRocks.

Ya

Tidak ada

selectedDatabase

Nama database StarRocks.

Tidak

Nama database yang dikonfigurasi untuk sumber data StarRocks.

loadProps

Parameter permintaan untuk StarRocks Stream Load. Saat mengimpor data CSV, Anda dapat mengonfigurasi parameter berikut. Jika tidak diperlukan konfigurasi khusus, gunakan {}:

• column_separator: pemisah kolom untuk impor CSV. Default: \t.

• row_delimiter: pemisah baris untuk impor CSV. Default: \n. Jika data Anda berisi \t atau \n, Anda harus menentukan karakter lain sebagai pemisah.

• session_variable: Header HTTP dari StarRocks Stream Load yang mengatur variabel sesi StarRocks selama pemuatan data. Pisahkan beberapa variabel dengan koma (,). Gunakan parameter ini untuk mengontrol perilaku sesi StarRocks selama pemuatan, seperti kelompok komputasi dan periode timeout.

  {"column_separator":"\\x01","row_delimiter":"\\x02","session_variable":"warehouse=qwe,query_timeout=600"}

  Semua pasangan kunci-nilai yang dikonfigurasi dalam loadProps diteruskan ke antarmuka StarRocks Stream Load sebagai Header HTTP. Oleh karena itu, Anda dapat mengonfigurasi parameter header apa pun yang didukung oleh StarRocks Stream Load, seperti session_variable, max_filter_ratio, dan timeout, dalam loadProps.

Stream Load juga mendukung impor data JSON. Untuk melakukannya, konfigurasikan parameter berikut:

{
  "format": "json"
}

Parameter berikut tersedia untuk format JSON:

• strip_outer_array: menentukan apakah struktur array terluar dipangkas. Nilai yang valid: true dan false. Nilai default: false.

  Data JSON yang akan diimpor mungkin dibungkus dalam tanda kurung luar ([]) yang merepresentasikan array. Dalam kasus ini, atur parameter ini menjadi true. StarRocks kemudian memangkas tanda kurung luar ([]) dan mengimpor setiap array dalam sebagai baris terpisah. Jika diatur menjadi false, StarRocks mengurai seluruh file data JSON sebagai satu array dan mengimpornya sebagai satu baris.

  [{"category":1,"author":2},{"category":3,"author":4}]
  

  • Jika diatur menjadi true, StarRocks mengurai {"category":1,"author":2} dan {"category":3,"author":4} menjadi dua baris dan mengimpornya ke tabel StarRocks tujuan.

  • Jika diatur menjadi false, StarRocks mengurai seluruh array JSON sebagai satu baris dan mengimpornya ke tabel StarRocks tujuan.

• ignore_json_size: menentukan apakah ukuran body JSON dalam permintaan HTTP diperiksa.

  Catatan

  Secara default, ukuran body JSON dalam permintaan HTTP tidak boleh melebihi 100 MB. Jika ukuran body JSON melebihi 100 MB, pesan error berikut dikembalikan: The size of this batch exceed the max size [104857600] of json type data data [8617627793].Set ignore_json_size to skip check,although it may lead huge memory consuming. Untuk mencegah error ini, Anda dapat menambahkan ignore_json_size: true ke header HTTP untuk melewati pemeriksaan ukuran body JSON.

• compression: menentukan algoritma kompresi yang digunakan selama transmisi data Stream Load. Algoritma yang didukung: GZIP, BZIP2, LZ4_FRAME, dan ZSTD.

• strict_mode: menentukan apakah mode ketat diaktifkan.

  Nilai yang valid:

  • true: Mengaktifkan mode ketat. StarRocks memfilter baris yang tidak valid, hanya mengimpor baris yang valid, dan mengembalikan detail tentang data yang tidak valid.

  • false: Menonaktifkan mode ketat. StarRocks mengonversi bidang yang gagal dikonversi menjadi nilai NULL dan mengimpor baris yang berisi nilai NULL tersebut bersama dengan baris data yang valid.

  Nilai default: false.

Ya

Tidak ada

column

Kolom tujuan tempat Anda ingin menyinkronkan data.

Ya

Tidak ada

loadUrl

Alamat IP dan port HTTP node frontend (FE) StarRocks. Port default adalah 8030. Untuk beberapa node FE, tentukan semuanya yang dipisahkan dengan koma (,).

Ya

Tidak ada

table

Tabel tujuan tempat Anda ingin menyinkronkan data.

Ya

Tidak ada

preSql

Pernyataan SQL yang dijalankan sebelum tugas sinkronisasi dimulai. Misalnya, jalankan TRUNCATE TABLE tablename untuk menghapus data yang ada dari tabel tujuan.

Tidak

Tidak ada

postSql

Pernyataan SQL yang dijalankan setelah tugas sinkronisasi selesai.

Tidak

Tidak ada

maxBatchRows

Jumlah maksimum baris yang ditulis per batch.

Tidak

500000

maxBatchSize

Ukuran maksimum data yang ditulis per batch, dalam byte.

Tidak

5242880

strategyOnError

Kebijakan untuk menangani error yang terjadi selama penulisan batch.

Nilai yang valid:

• exit: Jika terjadi error penulisan, tugas gagal dan keluar.

• batchDirtyData: Jika terjadi error penulisan, tugas mencatat batch data saat ini sebagai data kotor.

Nilai default: exit.

Tidak

exit