DataWorks:OSS

Didukung

Tidak didukung

• Mendukung file TXT, yang harus memiliki skema tabel dua dimensi.

• Mendukung file mirip CSV dengan delimiter kustom.

  Catatan

  Format teks (TXT dan CSV) mendukung kompresi gzip, bzip2, dan zip.

  Anda tidak dapat mengemas beberapa file ke dalam satu arsip terkompresi.

• Mendukung file dalam format ORC dan Parquet.

• Mendukung pembacaan berbagai tipe data (direpresentasikan sebagai STRING), pemangkasan kolom, dan konstanta kolom.

• Mendukung pembacaan rekursif dan penyaringan nama objek.

• Mendukung pembacaan konkuren dari beberapa objek.

• Reader tidak dapat membaca satu objek (file) secara konkuren menggunakan multiple thread.

• Satu objek terkompresi tidak mendukung pembacaan multi-threaded konkuren.

Didukung

Tidak didukung

• Mendukung penulisan data ke file teks yang memiliki skema tabel dua dimensi. Menulis file yang berisi objek besar biner (BLOB), seperti video dan gambar, tidak didukung.

• Mendukung file mirip CSV dengan delimiter kustom.

• Mendukung file dalam format ORC dan Parquet.

  Catatan

  Dalam editor kode, kompresi SNAPPY didukung.

• Mendukung penulisan multi-threaded, di mana setiap thread menulis ke part-file terpisah.

• Mendukung rotasi file, di mana file baru dibuat untuk penulisan berikutnya setelah ukuran file saat ini melebihi batas tertentu.

• Penulisan konkuren ke satu file tidak didukung.

• Karena OSS tidak menyediakan tipe data native, OSS Writer menulis semua data sebagai tipe STRING ke objek OSS.

• Anda tidak dapat menulis data ke bucket OSS yang kelas penyimpanannya adalah Cold Archive.

• Satu objek (file) tidak boleh melebihi 100 GB.

Kategori

Tipe kolom

Integer

LONG

String

STRING

Floating-point

DOUBLE

Boolean

BOOLEAN

Date and time

DATE

Parameter

Deskripsi

Wajib

Bawaan

datasource

Menentukan nama sumber data. Dalam mode skrip, nilai ini harus sesuai dengan nama sumber data yang telah dikonfigurasi.

Ya

Tidak ada

object

Menentukan satu atau beberapa objek untuk disinkronkan dari OSS. Anda dapat menentukan objek menggunakan path eksplisit, wildcard, atau parameter dinamis.

1. Metode konfigurasi

• Path eksplisit

  • Aturan dasar: Path harus dimulai dari Direktori root bucket dan tidak boleh mencakup nama bucket.

  • Tentukan satu file: Masukkan path lengkap file tersebut. Contoh: my_folder/my_file.txt.

  • Tentukan beberapa objek: Pisahkan path beberapa file atau folder dengan koma (,). Contoh: folder_a/file1.txt, folder_a/file2.txt.

• Jalur wildcard

  • Anda dapat menggunakan wildcard untuk mencocokkan beberapa file dengan pola tertentu.

  • *: Mencocokkan nol atau lebih karakter.

  • ?: Mencocokkan tepat satu karakter.

  • Contoh:

    • abc*[0-9].txt mencocokkan file seperti abc0.txt, abc10.txt, dan abc_test_9.txt.

    • abc?.txt mencocokkan file seperti abc1.txt dan abcX.txt.

• Path parameter dinamis

  • Sisipkan parameter penjadwalan ke dalam path untuk mengotomatiskan sinkronisasi data. Saat job dijalankan, sistem mengganti parameter ini dengan nilai aktualnya.

  • Contohnya, jika Anda mengonfigurasi path sebagai raw_data/${bizdate}/abc.txt, job dapat secara dinamis menyinkronkan folder untuk tanggal bisnis yang sesuai setiap hari.

  • Untuk informasi lebih lanjut tentang cara menggunakan parameter penjadwalan, lihat Sumber Parameter Penjadwalan dan Ekspresinya.

2. Konkurensi dan performa

Metode konfigurasi secara langsung menentukan konkurensi ekstraksi data:

• Mode single-threaded: Saat Anda menentukan satu file tak terkompresi dengan path eksplisit, job mengekstraksi data dalam mode single-threaded.

• Mode multi-threaded: Saat Anda menentukan beberapa file eksplisit atau mencocokkan beberapa file dengan wildcard, job menggunakan pembacaan konkuren untuk meningkatkan throughput ekstraksi secara signifikan. Anda dapat mengonfigurasi konkurensi di pengaturan Channel.

Ya

Tidak ada

parquetSchema

Gunakan parameter ini untuk mendefinisikan skema file dalam format file Parquet. Parameter ini hanya berlaku ketika fileFormat diatur ke parquet. Setelah Anda menentukan parquetSchema, pastikan konfigurasi keseluruhan merupakan JSON yang valid.

message MessageTypeName {
required/optional, data_type, column_name;
......................;
}

"parquetSchema": "message m { optional int32 minute_id; optional int32 dsp_id; optional int32 adx_pid; optional int64 req; optional int64 res; optional int64 suc; optional int64 imp; optional double revenue; }"

Tidak

Tidak ada

column

Menentukan daftar kolom yang akan dibaca. 'type' menentukan tipe data di sumber. 'index' menentukan indeks kolom berbasis nol dalam file teks. 'value' menentukan nilai konstan untuk kolom, yang menginstruksikan sistem untuk menghasilkan nilai tersebut alih-alih membacanya dari file sumber.

"column": ["*"]

"column":
    {
       "type": "long",
       "index": 0    // Membaca integer dari kolom pertama file teks OSS.
    },
    {
       "type": "string",
       "value": "alibaba"  // Menghasilkan string konstan 'alibaba' untuk kolom saat ini.
    }

Ya

Semua kolom dibaca sebagai tipe data STRING.

fileFormat

Format file objek sumber di OSS. Nilai yang valid adalah 'csv' dan 'text'. Kedua format mendukung delimiter kustom.

Ya

csv

fieldDelimiter

Delimiter field.

Ya

,

lineDelimiter

Delimiter baris.

Tidak

Tidak ada

compress

Jenis kompresi file sumber. Jika parameter ini tidak diatur, file diasumsikan tidak terkompresi. Jenis yang didukung: gzip, bzip2, dan zip.

Tidak

Tidak ada kompresi

encoding

Pengkodean karakter file sumber.

Tidak

utf-8

nullFormat

Menentukan string dalam data sumber yang merepresentasikan nilai null. Hal ini diperlukan karena file teks tidak memiliki representasi standar untuk nilai null. Contohnya:

• Jika Anda mengatur nullFormat:"null", string literal "null" dalam data sumber diperlakukan sebagai nilai null.

• Jika Anda mengatur nullFormat:"\u0001", string "\u0001" (karakter tak terlihat) dalam data sumber diperlakukan sebagai nilai null.

• Jika Anda menghilangkan parameter "nullFormat", sistem menulis data sumber ke tujuan apa adanya, tanpa konversi nilai apa pun.

Tidak

Tidak ada

skipHeader

File mirip CSV mungkin memiliki baris header yang berfungsi sebagai judul, yang perlu dilewati. Secara default, baris ini tidak dilewati. Parameter skipHeader tidak didukung dalam mode file terkompresi.

Tidak

false

csvReaderConfig

Peta pengaturan tambahan untuk CsvReader yang digunakan untuk mengurai file CSV. Jika parameter ini dihilangkan, CsvReader menggunakan pengaturan bawaannya.

Tidak

Tidak ada

Parameter

Deskripsi

Wajib

Bawaan

datasource

Nama sumber data. Di editor kode, nilai ini harus sesuai dengan nama sumber data yang telah dikonfigurasi.

Ya

Tidak ada

object

Nama objek output di OSS. OSS menggunakan nama objek untuk mensimulasikan struktur direktori. Nama objek memiliki konvensi berikut:

• Jika Anda mengatur "object": "datax", nama objek yang ditulis dimulai dengan datax, dan string acak ditambahkan sebagai akhiran.

• Jika Anda mengatur "object": "cdo/datax", nama objek yang ditulis dimulai dengan /cdo/datax, dan string acak ditambahkan sebagai akhiran. OSS menggunakan garis miring (/) sebagai delimiter untuk mensimulasikan direktori.

Jika Anda tidak ingin akhiran UUID acak, konfigurasikan "writeSingleObject": "true". Untuk informasi lebih lanjut, lihat deskripsi parameter writeSingleObject.

Ya

Tidak ada

ossBlockSize

Ukuran bagian OSS. Nilai bawaan adalah 16 MB. Saat format output file adalah parquet atau ORC, Anda dapat mengonfigurasi parameter ini pada level yang sama dengan parameter object.

Karena unggah multi-bagian OSS dibatasi hingga 10.000 bagian, ukuran bagian bawaan membatasi ukuran file maksimum hingga 160 GB. Untuk mengunggah file yang lebih besar, Anda harus menambah ukuran bagian.

Tidak

16

writeMode

Menentukan cara OSS Writer menangani data yang sudah ada sebelum menulis:

• truncate: Menghapus semua objek yang cocok dengan awalan yang ditentukan dalam parameter object sebelum menulis data baru. Misalnya, jika Anda mengatur "object":"abc", semua objek dengan awalan abc dihapus.

• append: Tidak melakukan pembersihan apa pun. OSS Writer menulis data baru, menggunakan nama objek yang ditentukan sebagai awalan dan menambahkan UUID acak untuk memastikan nama unik. Misalnya, jika Anda menentukan nama objek sebagai DataIntegration, nama objek aktual mirip dengan DataIntegration_****_****_****.

• nonConflict: Jika objek dengan nama yang cocok dengan awalan objek yang ditentukan sudah ada, job sinkronisasi gagal. Misalnya, jika Anda mengatur "object":"abc" dan objek bernama abc123 ada, error dilaporkan.

Ya

Tidak ada

writeSingleObject

Menentukan apakah akan menulis semua data ke satu objek.

• true: Menulis semua data ke satu objek. Jika tidak ada data yang dibaca dari sumber, file kosong tidak dibuat.

• false: Menulis data ke beberapa objek. Jika tidak ada data yang dibaca dari sumber dan header dikonfigurasi, file kosong yang hanya berisi header dibuat. Jika tidak, file kosong berukuran nol byte dibuat.

Tidak

false

fileFormat

Format file objek output. Format berikut didukung:

• csv: Menulis data dalam format CSV ketat. Jika data mencakup delimiter field, data tersebut di-escape dengan diapit tanda kutip ganda (") sesuai aturan escaping CSV standar.

• text: Menulis data sebagai teks biasa, menggunakan delimiter field yang ditentukan. Berbeda dengan csv, format ini tidak melakukan escape delimiter yang muncul dalam data.

• parquet: Jika Anda menggunakan format file ini, Anda harus menentukan parameter parquetSchema untuk mendefinisikan skema data.

  Penting

  • Untuk menulis data dalam format Parquet, Anda harus beralih ke editor kode dan mengonfigurasi parameter parquetSchema. Untuk contoh konfigurasi, lihat Lampiran: Demo Skrip dan Deskripsi Parameter.

  • Jika Anda tidak mengonfigurasi parameter parquetSchema, DataWorks mengonversi tipe data dari sumber berdasarkan kebijakan tertentu. Untuk informasi lebih lanjut tentang kebijakan konversi, lihat Lampiran: Kebijakan konversi tipe data Parquet.

• ORC: Untuk menggunakan format ini, Anda harus beralih ke editor kode.

Tidak

text

compress

Menentukan format kompresi untuk file data yang ditulis ke OSS. Parameter ini harus dikonfigurasi di editor kode.

Tidak

Tidak ada

fieldDelimiter

Delimiter field untuk data output.

Tidak

,

encoding

Menentukan pengkodean karakter untuk file output.

Tidak

utf-8

parquetSchema

Diperlukan ketika fileFormat diatur ke parquet. Parameter ini mendefinisikan skema file Parquet output. Gunakan format berikut:

message MessageTypeName {
modifier, data_type, column_name;
......................;
}

Item konfigurasi dijelaskan sebagai berikut:

• MessageTypeName: Nama tipe pesan.

• modifier: required menunjukkan bahwa field tidak boleh berisi nilai null. optional menunjukkan bahwa field boleh berisi nilai null. Kami merekomendasikan mengatur semua field ke optional.

• data_type: Tipe data Parquet yang didukung meliputi BOOLEAN, INT32, INT64, INT96, FLOAT, DOUBLE, BINARY (untuk tipe string), dan FIXED_LEN_BYTE_ARRAY.

Contoh:

message m {
optional int64 id;
optional int64 date_id;
optional binary datetimestring;
optional int32 dspId;
optional int32 advertiserId;
optional int32 status;
optional int64 bidding_req_num;
optional int64 imp;
optional int64 click_num;
}

Tidak

Tidak ada

nullFormat

Dalam file teks, Anda tidak dapat menggunakan string standar untuk mendefinisikan nilai null. Sistem sinkronisasi data menyediakan parameter nullFormat untuk menentukan string yang merepresentasikan nilai null. Misalnya, jika Anda mengonfigurasi nullFormat="null" dan data sumber adalah null, sistem sinkronisasi data memperlakukannya sebagai field null.

Tidak

Tidak ada

header

Menentukan header yang akan ditulis ke file output. Nilainya harus berupa array JSON string, seperti ["id", "name", "age"].

Tidak

Tidak ada

maxFileSize (Konfigurasi lanjutan, tidak didukung di Antarmuka tanpa kode)

Mengontrol ukuran maksimum satu objek output sebelum file diputar, mirip dengan rotasi file log. Untuk unggah multi-bagian, ukuran bagian adalah 10 MB, yang juga berfungsi sebagai granularitas rotasi minimum. Nilai maxFileSize yang lebih kecil dari 10 MB diperlakukan sebagai 10 MB. InitiateMultipartUploadRequest OSS mendukung maksimal 10.000 bagian.

Saat file diputar, nama objek baru dibuat dengan menambahkan nomor urut (seperti _1, _2, atau _3) ke nama objek dasar, yang sudah mencakup awalan dan UUID acak.

Tidak

100.000

suffix (Konfigurasi lanjutan, tidak didukung di Antarmuka tanpa kode)

Menentukan akhiran yang akan ditambahkan ke nama objek output. Misalnya, jika Anda mengatur suffix ke .csv, nama objek akhir mirip dengan object-prefix_random-uuid.csv.

Tidak

Tidak ada