DataWorks：Sumber data OSS

Dukungan

Tidak didukung

• Mendukung file TXT. Skema dalam file TXT harus berupa tabel dua dimensi.

• Mendukung file mirip CSV dengan pemisah kustom.

  Catatan

  File teks (TXT dan CSV) mendukung kompresi gzip, bzip2, dan zip.

  Saat Anda mengompresi file, satu paket terkompresi tidak boleh berisi beberapa file.

• Mendukung format ORC dan PARQUET.

• Mendukung pembacaan berbagai tipe data (direpresentasikan sebagai string), pemangkasan kolom, dan konstanta kolom.

• Mendukung pembacaan rekursif dan penyaringan nama file.

• Mendukung pembacaan konkuren untuk beberapa objek.

• Tidak mendukung pembacaan konkuren multi-threaded untuk satu objek (file).

• Tidak mendukung pembacaan konkuren multi-threaded untuk satu objek terkompresi.

Dukungan

Tidak didukung

• Hanya mendukung penulisan file teks (bukan BLOB seperti video dan citra). Skema dalam file teks harus berupa tabel dua dimensi.

• Mendukung file mirip CSV dengan pemisah kustom.

• Mendukung format ORC dan PARQUET.

  Catatan

  Format kompresi SNAPPY didukung di editor kode.

• Mendukung penulisan multi-threaded. Setiap thread menulis data ke sub-file yang berbeda.

• Mendukung pergantian file. Saat ukuran file melebihi batas tertentu, sistem beralih ke file baru.

• Tidak mendukung penulisan konkuren ke satu file.

• OSS tidak menyediakan tipe data. OSS Writer menulis semua data sebagai tipe STRING ke objek OSS.

• Tidak mendukung penulisan data jika kelas penyimpanan bucket OSS adalah Cold Archive.

• Satu objek (file) tidak boleh melebihi 100 GB.

Klasifikasi tipe

Tipe konfigurasi kolom integrasi data

Tipe integer

LONG

Tipe string

STRING

Tipe floating-point

DOUBLE

Tipe boolean

BOOLEAN

Tipe tanggal dan waktu

DATE

Parameter

Deskripsi

Wajib

Nilai default

datasource

Nama sumber data. Nilai parameter ini harus sama dengan nama sumber data yang Anda tambahkan di editor kode.

Ya

Tidak ada

Object

Menentukan satu atau beberapa objek untuk disinkronkan dari OSS. Anda dapat menentukan objek menggunakan path lengkap, path dengan karakter wildcard, atau path dengan parameter dinamis.

1. Metode konfigurasi

• Tentukan path.

  • Aturan dasar: Path dimulai dari Direktori root bucket dan tidak perlu mencantumkan nama bucket.

  • Untuk menentukan satu file, masukkan path lengkapnya. Contoh: my_folder/my_file.txt.

  • Untuk menentukan beberapa objek, pisahkan path-nya dengan koma (,). Contoh: folder_a/file1.txt, folder_a/file2.txt.

• Path dengan karakter wildcard

  • Gunakan karakter wildcard untuk mencocokkan beberapa file yang mengikuti pola tertentu.

  • *: Mencocokkan nol atau lebih karakter.

  • ?: Mencocokkan satu karakter.

  • Contoh:

    • abc*[0-9].txt cocok dengan abc0.txt, abc10,txt, abc_test_9.txt, dan lainnya.

    • abc?.txt cocok dengan abc1.txt, abcX.txt, dan lainnya.

• Path dengan parameter dinamis

  • Sisipkan parameter penjadwalan ke dalam path untuk mengotomatiskan sinkronisasi. Saat task dijalankan, parameter akan diganti dengan nilai aktualnya.

  • Contoh: Jika Anda mengatur path ke raw_data/${bizdate}/abc.txt, task akan secara dinamis menyinkronkan folder untuk Waktu data yang sesuai setiap hari.

  • Untuk informasi lebih lanjut tentang parameter penjadwalan, lihat Sumber dan ekspresi parameter penjadwalan.

2. Mekanisme baca konkuren dan performa

Cara Anda mengonfigurasi path menentukan konkurensi dan performa ekstraksi data:

• Mode single-threaded: Task berjalan dalam mode single-threaded jika Anda menentukan satu file yang tidak terkompresi.

• Mode multi-threaded: Task secara otomatis mengaktifkan pembacaan konkuren multi-threaded jika Anda menentukan beberapa file atau menggunakan karakter wildcard yang mencocokkan beberapa file. Ini secara signifikan meningkatkan efisiensi ekstraksi. Anda dapat mengonfigurasi jumlah thread konkuren di bagian Channel Control.

Ya

Tidak ada

parquetSchema

Parameter ini hanya diperlukan saat Anda membaca file Parquet dari OSS. Parameter ini hanya berlaku ketika fileFormat diatur ke parquet. Parameter ini menjelaskan tipe data dalam file Parquet. Pastikan konfigurasi dalam format JSON yang valid.

message MessageTypeName {
Required/Optional, Data type, Column name;
......................;
}

"parquetSchema": "message m { optional int32 minute_id; optional int32 dsp_id; optional int32 adx_pid; optional int64 req; optional int64 res; optional int64 suc; optional int64 imp; optional double revenue; }"

Tidak

Tidak ada

column

Daftar field yang akan dibaca. `type` menentukan tipe data dari data sumber. `index` menentukan nomor kolom (dimulai dari 0) dalam file teks. `value` menentukan bahwa tipe saat ini adalah konstanta. Data untuk kolom ini tidak dibaca dari file sumber tetapi dihasilkan secara otomatis berdasarkan `value`.

"column": ["*"]

"column":
    {
       "type": "long",
       "index": 0    // Mendapatkan field int dari kolom pertama file teks OSS.
    },
    {
       "type": "string",
       "value": "alibaba"  // Menghasilkan field string "alibaba" dari dalam OSS Reader sebagai field saat ini.
    }

Ya

Semua data dibaca sebagai tipe STRING.

fileFormat

Format file dari objek sumber di OSS. Nilai yang valid adalah `csv` dan `text`. Kedua format mendukung pemisah kustom.

Ya

csv

fieldDelimiter

Pemisah kolom yang digunakan untuk membaca file.

Ya

,

lineDelimiter

Pemisah baris.

Tidak

Tidak ada

compress

Format kompresi file teks. Nilai default kosong, yang berarti tidak ada kompresi. Format yang didukung adalah gzip, bzip2, dan zip.

Tidak

Tidak ada kompresi

encoding

Format encoding dari file sumber.

Tidak

utf-8

nullFormat

File teks tidak dapat menggunakan string standar untuk mendefinisikan pointer null. Gunakan `nullFormat` untuk mendefinisikan string mana yang merepresentasikan null. Misalnya:

• Jika Anda mengonfigurasi nullFormat:"null", sinkronisasi data memperlakukan string `null` di sumber sebagai field null.

• Jika Anda mengatur nullFormat:"\u0001", yang merupakan karakter tak terlihat, dan data sumber adalah string "\u0001", data tersebut diperlakukan sebagai field null.

• Jika Anda tidak mengatur parameter "nullFormat", data sumber ditulis ke tujuan apa adanya, tanpa konversi apa pun.

Tidak

Tidak ada

skipHeader

Melewati baris header dalam file mirip CSV. Nilai default adalah false. Parameter skipHeader tidak didukung untuk file terkompresi.

Tidak

false

csvReaderConfig

Parameter untuk membaca file CSV. Ini adalah map. CsvReader digunakan untuk membaca file CSV. Jika Anda tidak mengonfigurasi parameter ini, nilai default akan digunakan.

Tidak

Tidak ada

Parameter

Deskripsi

Wajib

Nilai default

datasource

Nama sumber data. Nilai parameter ini harus sama dengan nama sumber data yang Anda tambahkan di editor kode.

Ya

Tidak ada

object

Nama file yang akan ditulis ke OSS. OSS menggunakan nama file untuk mensimulasikan struktur direktori. OSS memiliki batasan berikut pada nama objek:

• Jika Anda mengatur "object": "datax", nama objek yang ditulis dimulai dengan `datax` dan diakhiri dengan string acak.

• Jika Anda mengatur "object": "cdo/datax", nama objek yang ditulis dimulai dengan /cdo/datax dan diakhiri dengan string acak. Garis miring (/) digunakan sebagai pemisah direktori di OSS.

Jika Anda tidak ingin UUID acak ditambahkan, atur "writeSingleObject" : "true". Untuk informasi lebih lanjut, lihat deskripsi writeSingleObject.

Ya

Tidak ada

ossBlockSize

Ukuran setiap blok data dalam MB. Nilai default adalah 16. Parameter ini hanya didukung saat `fileFormat` adalah parquet atau ORC. Anda dapat mengonfigurasi parameter ini pada level yang sama dengan parameter object.

Karena unggah multi-bagian di OSS mendukung maksimal 10.000 blok, ukuran file tunggal default dibatasi hingga 160 GB. Jika jumlah blok melebihi batas, Anda dapat menambah ukuran blok untuk mendukung unggahan file yang lebih besar.

Tidak

16

writeMode

Menentukan cara menangani data yang sudah ada sebelum menulis:

• truncate: Menghapus semua objek yang cocok dengan awalan nama objek sebelum menulis. Misalnya, jika Anda mengatur "object":"abc", semua objek yang dimulai dengan `abc` akan dihapus.

• append: Tidak ada pemrosesan sebelum menulis. OSS Writer langsung menulis data menggunakan nama objek dan menambahkan UUID acak untuk memastikan nama file tidak bentrok. Misalnya, jika Anda menentukan nama objek sebagai `DataIntegration`, nama yang ditulis sebenarnya adalah DI_****_****_****.

• nonConflict: Jika objek dengan awalan yang cocok sudah ada di path yang ditentukan, akan muncul error. Misalnya, jika Anda mengatur "object":"abc" dan objek bernama `abc123` sudah ada, akan muncul error.

Ya

Tidak ada

writeSingleObject

Menentukan apakah data ditulis ke satu file:

• true: Menulis data ke satu file. Jika tidak ada data yang dibaca, file kosong tidak dibuat.

• false: Menulis data ke beberapa file. Jika tidak ada data yang dibaca dan header file dikonfigurasi, file kosong yang hanya berisi header akan dibuat. Jika tidak, hanya file kosong yang dibuat.

Tidak

false

fileFormat

Format file objek. Format berikut didukung:

• csv: Hanya format csv ketat yang didukung. Jika data yang akan ditulis mencakup pemisah kolom, data tersebut akan di-escape sesuai sintaks escape csv. Karakter escape-nya adalah tanda kutip ganda (").

• text: Hanya memisahkan data yang akan ditulis menggunakan pemisah kolom. Tidak ada escaping jika data mencakup pemisah kolom.

• parquet: Jika Anda menggunakan tipe file ini, Anda harus menambahkan parameter `parquetSchema` untuk mendefinisikan tipe data.

  Penting

  • Untuk menulis data dalam format Parquet, Anda harus beralih ke editor kode dan mengonfigurasi `parquetSchema`. Untuk contoh konfigurasi, lihat Lampiran: Demo skrip dan deskripsi parameter.

  • Jika Anda tidak mengonfigurasi `parquetSchema`, DataWorks mengonversi tipe data berdasarkan tipe field sumber sesuai kebijakan tertentu. Untuk informasi lebih lanjut tentang kebijakan konversi, lihat Lampiran: Kebijakan konversi tipe data Parquet.

• ORC: Jika Anda menggunakan format ini, Anda harus beralih ke editor kode.

Tidak

text

compress

Format kompresi file objek yang ditulis ke OSS. Parameter ini harus dikonfigurasi di editor kode.

Tidak

Tidak ada

fieldDelimiter

Pemisah kolom.

Tidak

,

encoding

Konfigurasikan encoding file.

Tidak

utf-8

parquetSchema

Parameter ini diperlukan saat Anda menulis data ke file Parquet di OSS. Parameter ini menjelaskan struktur file objek. Parameter ini hanya berlaku saat fileFormat diatur ke parquet. Formatnya sebagai berikut.

message MessageTypeName {
Required/Optional, Data type, Column name;
......................;
}

Item konfigurasi adalah sebagai berikut:

• MessageTypeName: Masukkan nama.

• Required/Optional: `required` menunjukkan bahwa field tidak boleh null. `optional` menunjukkan bahwa field boleh null. Kami menyarankan agar Anda mengatur semua field ke `optional`.

• Data type: File Parquet mendukung tipe BOOLEAN, INT32, INT64, INT96, FLOAT, DOUBLE, BINARY (gunakan BINARY untuk tipe string), dan FIXED_LEN_BYTE_ARRAY.

Berikut adalah contohnya.

message m {
optional int64 id;
optional int64 date_id;
optional binary datetimestring;
optional int32 dspId;
optional int32 advertiserId;
optional int32 status;
optional int64 bidding_req_num;
optional int64 imp;
optional int64 click_num;
}

Tidak

Tidak ada

nullFormat

File teks tidak dapat menggunakan string standar untuk mendefinisikan pointer null. Gunakan nullFormat untuk mendefinisikan string yang merepresentasikan null. Misalnya, jika Anda mengatur nullFormat="null" dan data sumber adalah null, data tersebut diperlakukan sebagai field null.

Tidak

Tidak ada

header

Header file objek. Contoh: ["id", "name", "age"].

Tidak

Tidak ada

maxFileSize (Konfigurasi lanjutan. Parameter ini tidak didukung di Antarmuka tanpa kode.)

Ukuran maksimum satu file objek dalam MB. Nilai default adalah 10.000 × 10 MB. Ini mirip dengan mengontrol ukuran file log di log4j. Saat menggunakan unggah multi-bagian di OSS, setiap blok berukuran 10 MB (yang juga merupakan granularitas minimum untuk rotasi file log, artinya `maxFileSize` kurang dari 10 MB dianggap sebagai 10 MB). Setiap OSS InitiateMultipartUploadRequest mendukung maksimal 10.000 blok.

Saat rotasi terjadi, nama objek dibentuk dengan menambahkan akhiran seperti _1, _2, _3 ke awalan objek asli dengan UUID acak.

Tidak

100.000

suffix (Konfigurasi lanjutan. Parameter ini tidak didukung di Antarmuka tanpa kode.)

Akhiran nama file yang dihasilkan. Misalnya, jika Anda mengatur suffix ke .csv, nama file akhir akan menjadi fileName****.csv.

Tidak

Tidak ada