ApsaraDB for SelectDB：Stream Load

Parameter

Wajib

Deskripsi

--location-trusted

Ya

Jika autentikasi diperlukan, ini meneruskan username dan password ke server tempat permintaan dialihkan.

-u

Ya

Tentukan nama pengguna dan kata sandi untuk instans SelectDB.

• username: Nama pengguna.

• password: Kata sandi.

-H

Tidak

Tentukan konten header permintaan (Header) untuk permintaan impor Stream Load ini. Formatnya sebagai berikut:

-H "key1:value1"

Parameter umum sebagai berikut:

• label: ID unik tugas impor.

• column_separator: Menentukan pemisah kolom dalam file impor. Defaultnya adalah \t.

  Anda juga dapat menggunakan kombinasi beberapa karakter sebagai pemisah kolom.

  Untuk karakter tak terlihat, Anda perlu menambahkan \x sebagai awalan dan menggunakan heksadesimal untuk merepresentasikan pemisah.

Untuk informasi selengkapnya tentang parameter header permintaan, lihat Parameter header permintaan.

-T

Ya

Tentukan jalur file data yang akan diimpor.

file_path: Jalur file objek.

-XPUT

Ya

Metode permintaan HTTP. Gunakan metode permintaan PUT untuk menentukan alamat impor data SelectDB. Parameter spesifiknya sebagai berikut:

• host: Titik akhir VPC atau titik akhir publik instans SelectDB.

  • Gunakan titik akhir publik jika tidak dalam VPC yang sama: Jika perangkat tempat Anda menjalankan perintah tidak berada dalam VPC yang sama dengan instans SelectDB target, Anda harus menggunakan titik akhir publik. Untuk mengajukan titik akhir publik, lihat Ajukan dan lepas titik akhir publik.

  • Gunakan titik akhir VPC jika dalam VPC yang sama: Jika perangkat tempat Anda menjalankan perintah adalah produk Alibaba Cloud dan berada dalam VPC yang sama dengan instans SelectDB target, kami merekomendasikan agar Anda menggunakan titik akhir VPC.

• port: Nomor port HTTP instans SelectDB. Defaultnya adalah 8080.

  Anda dapat melihat titik akhir dan nomor port instans di halaman produk instans di SelectDB.

• db_name: Nama database.

• table_name: Nama tabel.

Parameter

Deskripsi

label

ID unik tugas impor.

Label memiliki beberapa tujuan:

• Nama kustom dalam perintah impor.

• Dapat digunakan untuk melihat status eksekusi tugas impor yang sesuai.

• Dapat digunakan untuk mencegah impor data yang sama berulang kali.

• Dapat digunakan kembali jika status pekerjaan impor yang sesuai adalah CANCELLED.

format

Menentukan format data impor.

• Format yang didukung: CSV, JSON, PARQUET, ORC, csv_with_names (melewatkan baris pertama file CSV), dan csv_with_names_and_types (melewatkan dua baris pertama file CSV).

• Format default: CSV.

Untuk informasi selengkapnya tentang persyaratan format file dan parameter terkait, lihat Format File.

line_delimiter

Menentukan pemisah baris dalam file impor.

Anda juga dapat menggunakan kombinasi beberapa karakter sebagai pemisah baris. Misalnya, di sistem Windows, gunakan \r\n sebagai pemisah baris.

• Pemisah baris default: \n.

• Skenario: Jika data yang diimpor berisi pemisah baris yang ditentukan, Anda harus menentukan pemisah baris baru.

  Untuk contoh, lihat Bagaimana cara menangani pemisah kolom dan baris yang ada dalam data?.

column_separator

Menentukan pemisah kolom dalam file impor.

Anda juga dapat menggunakan kombinasi beberapa karakter sebagai pemisah kolom. Misalnya, Anda dapat menggunakan garis vertikal ganda || sebagai pemisah kolom.

Untuk karakter tak terlihat, Anda perlu menambahkan \x sebagai awalan dan menggunakan heksadesimal untuk merepresentasikan pemisah. Misalnya, untuk pemisah file Hive \x01, Anda perlu menentukan -H"column_separator:\x01".

• Pemisah default: \t.

• Skenario: Jika data yang diimpor berisi pemisah kolom yang ditentukan, Anda harus menentukan pemisah kolom baru.

  Untuk contoh, lihat Bagaimana cara menangani pemisah kolom dan baris yang ada dalam data?.

compress_type

Menentukan format kompresi file. Kompresi hanya didukung untuk file CSV dan JSON.

Format kompresi yang didukung: gz, lzo, bz2, lz4, lzop, dan deflate.

max_filter_ratio

Menentukan toleransi kesalahan maksimum untuk tugas impor.

Jika tingkat kesalahan impor melebihi ambang batas ini, impor akan gagal. Untuk mengabaikan baris yang salah, Anda harus mengatur parameter ini ke nilai lebih besar dari 0 agar impor berhasil.

• Nilai default: 0, yang berarti toleransi nol.

• Rentang nilai: [0, 1].

strict_mode

Menentukan apakah akan mengaktifkan mode ketat.

• false (default): Tidak mengaktifkan mode ketat.

• true: Mengaktifkan mode ketat. Saat diaktifkan, penyaringan ketat diterapkan pada konversi tipe kolom selama proses impor.

  • Data yang salah akan disaring.

  • Jika konversi tipe kolom dari data sumber non-null menghasilkan nilai NULL, data tersebut juga akan disaring.

cloud_cluster

Menentukan kluster yang akan digunakan untuk impor.

Secara default, kluster default instans digunakan. Jika instans tidak memiliki kluster default yang ditetapkan, kluster yang Anda miliki izinnya akan dipilih secara otomatis.

load_to_single_tablet

Menentukan apakah akan mengimpor data hanya ke satu tablet partisi yang sesuai. Parameter ini hanya dapat diatur saat mengimpor data ke tabel Duplicate Key dengan bucketing acak.

• false (default): Saat mengimpor data ke tabel model Duplicate Key dengan bucketing acak, data tidak ditulis hanya ke satu bucket partisi yang sesuai.

• true: Saat mengimpor data ke tabel model Duplicate Key dengan bucketing acak, data ditulis hanya ke satu bucket partisi yang sesuai. Hal ini dapat meningkatkan konkurensi dan throughput impor data.

where

Menentukan kondisi filter untuk tugas impor.

Anda dapat menentukan pernyataan where untuk menyaring data sumber. Data yang disaring tidak akan diimpor atau dimasukkan dalam perhitungan rasio filter. Namun, data tersebut akan dihitung dalam jumlah baris yang disaring oleh kondisi where,

num_rows_unselected.

partitions

Menentukan informasi partisi untuk data yang akan diimpor.

Jika data yang akan diimpor tidak termasuk dalam partisi yang ditentukan, data tersebut tidak akan diimpor. Baris data ini dihitung dalam dpp.abnorm.ALL.

dpp.abnorm.ALL adalah metrik penghitung di SelectDB. Ini merepresentasikan jumlah total baris yang disaring selama tahap pra-pemrosesan data. NumberFilteredRows dalam hasil impor mencakup jumlah baris abnormal yang dihitung oleh dpp.abnorm.ALL.

columns

Menentukan konfigurasi transformasi fungsi untuk data yang akan diimpor.

Metode transformasi fungsi yang didukung mencakup perubahan urutan kolom dan transformasi ekspresi. Metode untuk transformasi ekspresi sama seperti dalam pernyataan pencarian.

merge_type

Menentukan jenis penggabungan data.

• APPEND (default): Menunjukkan bahwa impor ini adalah operasi penulisan tambahan normal.

• MERGE: Harus digunakan bersama parameter delete untuk menandai kolom Delete Flag.

• DELETE: Menunjukkan bahwa semua data dalam impor ini adalah operasi penghapusan.

delete

Ini hanya berarti ketika merge_type diatur ke MERGE. Ini menentukan kondisi untuk menghapus data.

function_column.sequence_col

Ini hanya berlaku untuk model Unique Key. Untuk kolom kunci yang sama, ini memastikan bahwa kolom nilai diganti sesuai dengan kolom source_sequence. Kolom source_sequence dapat berupa kolom dari sumber data atau kolom dalam skema tabel.

exec_mem_limit

Menentukan batas memori impor.

• Satuan: byte.

• Nilai default: 2147483648, yaitu 2 GiB.

timeout

Menentukan waktu tunggu impor.

• Satuan: detik.

• Nilai default: 600.

• Rentang: [1, 259200].

timezone

Menentukan zona waktu yang digunakan untuk impor ini. Parameter ini memengaruhi hasil semua fungsi terkait zona waktu yang terlibat dalam impor. Untuk informasi selengkapnya tentang zona waktu, lihat IANA Time Zone Database.

Nilai default: Asia/Shanghai, yaitu UTC+8.

two_phase_commit

Menentukan apakah akan mengaktifkan mode komit dua fase.

• false (default): Tidak mengaktifkan komit dua fase.

• true: Mengaktifkan komit dua fase. Saat diaktifkan, informasi dikembalikan kepada pengguna segera setelah penulisan data selesai. Pada titik ini, data belum terlihat, dan status transaksi adalah PRECOMMITTED. Data menjadi terlihat hanya setelah pengguna secara manual memicu operasi komit.

• Kapan mengaktifkan atau menonaktifkan:

  Saat diaktifkan, impor data bersifat atomik. Impor tersebut berhasil sepenuhnya atau gagal sepenuhnya. Ini juga mencegah situasi di mana sebagian data menjadi terlihat selama proses impor.

  Aktifkan dalam skenario berikut:

  • Data transaksi keuangan: Memerlukan jaminan ketat terhadap integritas dan konsistensi data.

  • Data sistem penagihan: Impor data parsial tidak diperbolehkan.

  • Data bisnis kritis: Skenario dengan persyaratan akurasi data yang sangat tinggi.

  Nonaktifkan dalam skenario berikut:

  • Analisis log: Persyaratan konsistensi tidak tinggi, dan kecepatan impor menjadi prioritas.

  • Pemrosesan batch skala besar: Sumber daya terbatas, dan impor perlu diselesaikan dengan cepat.

  • Data yang dapat diimpor ulang: Data yang dapat diimpor kembali apabila proses impor gagal.

jsonpaths

Ada dua cara untuk mengimpor data dalam format JSON:

• Mode dasar: Anda tidak perlu menentukan jsonpaths. Kunci dalam data JSON harus berkorespondensi satu-satu dengan nama kolom di tabel, tetapi urutannya dapat berbeda. Misalnya, dalam data JSON {"k1":1, "k2":2, "k3":"hello"}, k1, k2, dan k3 berkorespondensi dengan nama kolom di tabel.

• Mode pencocokan: Saat data JSON kompleks, gunakan parameter jsonpaths untuk mencocokkan kunci ke kolom tabel yang sesuai. Misalnya, jsonpaths:["$.status", "$.res.id", "$.res.count"] dapat mengekstrak field bersarang dari data JSON dan menuliskannya ke tabel yang sesuai. Secara default, field yang diekstrak oleh jsonpaths dipetakan ke kolom tabel secara berurutan.

json_root

Parameter json_root dapat digunakan untuk menentukan objek anak dalam data JSON sebagai node akar untuk penguraian.

Nilai default adalah "", yang berarti seluruh objek JSON dipilih sebagai node akar.

read_json_by_line

Parameter penting dalam Stream Load untuk memproses data JSON. Parameter ini mengontrol cara mengurai file input yang berisi beberapa baris data JSON.

• false (default): Seluruh file input diperlakukan sebagai satu nilai JSON atau array. Kernel mencoba mengurai seluruh konten file sebagai satu objek JSON atau array.

  Misalnya, jika file berisi konten berikut:

  [
   {"id":1, "name":"Alice", "age":25},
   {"id":2, "name":"Bob", "age":30},
   {"id":3, "name":"Charlie", "age":35}
  ]

  Seluruh konten file diurai sebagai satu array JSON.

• true: Setiap baris data yang diimpor adalah objek JSON.

  Misalnya, jika file berisi konten berikut:

  {"id":1, "name":"Alice", "age":25}
  {"id":2, "name":"Bob", "age":30}
  {"id":3, "name":"Charlie", "age":35}

  Setiap baris dalam file diurai sebagai objek JSON.

strip_outer_array

Parameter penting dalam Stream Load untuk memproses data JSON yang berisi array luar.

• false (default): Struktur asli data JSON dipertahankan. Array luar tidak dihapus. Seluruh array JSON diimpor sebagai satu catatan.

  Misalnya, untuk data sampel [{"k1" : 1, "k2" : 2},{"k1" : 3, "k2" : 4}], jika strip_outer_array diatur ke false, data tersebut diurai sebagai satu array dan diimpor ke tabel.

• true: Saat data yang diimpor adalah array JSON, Anda harus mengatur strip_outer_array ke true.

  Misalnya, untuk data sampel [{"k1" : 1, "k2" : 2},{"k1" : 3, "k2" : 4}], jika strip_outer_array diatur ke true, data tersebut diurai sebagai dua catatan data dan diimpor ke tabel.

Parameter

Deskripsi

TxnId

ID transaksi impor.

Label

ID impor.

Anda dapat menentukan ID kustom atau membiarkan sistem menghasilkannya.

Status

Status impor. Nilai yang valid adalah:

• Success: Impor berhasil.

• Publish Timeout: Tugas impor selesai, tetapi data mungkin terlihat setelah penundaan. Jangan coba ulang.

• Label Already Exists: Label duplikat. Anda harus mengubah Label.

• Fail: Impor gagal.

ExistingJobStatus

Status pekerjaan impor yang sesuai dengan Label yang sudah ada.

Field ini hanya ditampilkan ketika Status adalah Label Already Exists.

Anda dapat menggunakan status ini untuk menentukan keadaan tugas impor yang sesuai dengan Label yang sudah ada.

• RUNNING: Tugas masih berjalan.

• FINISHED: Tugas berhasil.

Message

Pesan kesalahan.

NumberTotalRows

Jumlah total baris yang diproses.

NumberLoadedRows

Jumlah baris yang berhasil diimpor.

NumberFilteredRows

Jumlah baris dengan kualitas data yang tidak memenuhi syarat.

NumberUnselectedRows

Jumlah baris yang disaring oleh kondisi where.

LoadBytes

Jumlah byte yang diimpor.

LoadTimeMs

Waktu yang dibutuhkan untuk impor.

Satuan: milidetik.

BeginTxnTimeMs

Waktu yang dihabiskan untuk meminta FE memulai transaksi.

Satuan: milidetik.

StreamLoadPutTimeMs

Waktu yang dihabiskan untuk meminta FE mendapatkan rencana eksekusi data impor.

Satuan: milidetik.

ReadDataTimeMs

Waktu yang dihabiskan untuk membaca data.

Satuan: milidetik.

WriteDataTimeMs

Waktu yang dihabiskan untuk melakukan operasi penulisan data.

Satuan: milidetik.

CommitAndPublishTimeMs

Waktu yang dihabiskan untuk meminta FE melakukan komit dan publikasi transaksi.

Satuan: milidetik.

ErrorURL

Jika ada masalah kualitas data, Anda dapat mengakses URL ini untuk melihat baris kesalahan spesifik.