DataWorks：Sumber data OSS

Didukung

Tidak didukung

• Membaca file TXT. Skema dalam file TXT harus berupa tabel dua dimensi.

• Membaca file mirip CSV dengan pemisah kustom.

• Membaca format ORC dan PARQUET.

• Membaca berbagai tipe data yang direpresentasikan sebagai string. Mendukung pemangkasan kolom dan konstanta kolom.

• Mendukung pembacaan rekursif dan penyaringan nama file.

• Mendukung kompresi teks. Format kompresi yang tersedia adalah gzip, bzip2, dan zip.

  Catatan

  Paket terkompresi tidak boleh berisi beberapa file.

• Mendukung pembacaan konkuren untuk beberapa objek.

• Tidak mendukung pembacaan konkuren multi-thread untuk satu objek (file) tunggal.

• Satu objek terkompresi tidak dapat dibaca oleh beberapa thread secara konkuren karena keterbatasan teknis.

Didukung

Tidak didukung

• Hanya menulis file teks. File BLOB seperti video dan citra tidak didukung. Skema dalam file teks harus berupa tabel dua dimensi.

• Menulis file mirip CSV dengan pemisah kustom.

• Menulis format ORC dan PARQUET.

• Mendukung penulisan multi-threaded. Setiap thread menulis ke sub-file yang berbeda.

• Mendukung rotasi file. File baru dibuat ketika ukuran file saat ini melebihi batas tertentu.

• Tidak mendukung penulisan konkuren ke satu file tunggal.

• OSS tidak menyediakan tipe data. OSS Writer menulis semua data ke objek OSS sebagai tipe STRING.

• Penulisan ke bucket OSS yang menggunakan kelas penyimpanan Cold Archive tidak didukung.

• Satu objek (file) tidak boleh melebihi 100 GB.

Kategori tipe

Tipe konfigurasi kolom Data Integration

Integer

LONG

String

STRING

Floating-point

DOUBLE

Boolean

BOOLEAN

Tanggal dan waktu

DATE

Parameter

Deskripsi

Wajib

Nilai default

datasource

Nama sumber data. Anda dapat menambahkan sumber data di editor kode. Nilai parameter ini harus sama dengan nama sumber data yang ditambahkan.

Ya

Tidak ada

Object

Menentukan satu atau beberapa objek untuk disinkronkan dari OSS. Anda dapat menentukan objek menggunakan jalur eksplisit, karakter wildcard, atau parameter dinamis.

1. Metode konfigurasi

• Jalur eksplisit

  • Aturan dasar: Jalur dimulai dari Direktori root bucket dan tidak perlu mencantumkan nama bucket.

  • Untuk menentukan satu file, masukkan jalur lengkap file tersebut. Contoh: my_folder/my_file.txt.

  • Menentukan beberapa objek: Gunakan koma (,) untuk memisahkan beberapa jalur file atau folder. Contoh: folder_a/file1.txt, folder_a/file2.txt.

• Jalur wildcard

  • Anda dapat menggunakan karakter wildcard untuk mencocokkan beberapa file yang mengikuti pola tertentu.

  • *: Mencocokkan nol atau lebih karakter.

  • ?: Mencocokkan satu karakter.

  • Contoh:

    • abc*[0-9].txt mencocokkan abc0.txt, abc10,txt, abc_test_9.txt, dan sebagainya.

    • abc?.txt mencocokkan abc1.txt, abcX.txt, dan sebagainya.

• Jalur parameter dinamis

  • Anda dapat menyematkan parameter penjadwalan dalam jalur untuk mengotomatiskan sinkronisasi. Saat tugas dijalankan, parameter diganti dengan nilai aktualnya.

  • Contoh: Jika Anda mengatur jalur menjadi raw_data/${bizdate}/abc.txt, tugas dapat secara dinamis menyinkronkan folder untuk waktu data yang sesuai setiap hari.

  • Untuk informasi lebih lanjut tentang cara menggunakan parameter penjadwalan, lihat Format yang didukung untuk parameter penjadwalan.

2. Mekanisme baca konkuren dan kinerja

Metode konfigurasi secara langsung memengaruhi kinerja konkuren ekstraksi data:

• Mode single-threaded: Saat Anda hanya menentukan satu file eksplisit yang tidak terkompresi, tugas mengekstraksi data dalam mode single-threaded.

• Mode multi-threaded: Saat Anda menentukan beberapa file eksplisit, atau mencocokkan beberapa file dengan karakter wildcard, tugas secara otomatis mengaktifkan pembacaan konkuren multi-threaded untuk meningkatkan efisiensi ekstraksi secara signifikan. Anda dapat mengonfigurasi jumlah thread konkuren di bagian Channel Control.

Ya

Tidak ada

parquetSchema

Parameter ini dikonfigurasi saat Anda membaca file Parquet dari OSS. Parameter ini hanya berlaku ketika fileFormat diatur ke parquet. Parameter ini menentukan tipe data yang disimpan dalam file Parquet. Anda harus memastikan bahwa konfigurasi keseluruhan sesuai dengan sintaks JSON setelah menentukan parameter ini.

message MessageTypeName {
Required/Optional, Tipe data, Nama kolom;
......................;
}

"parquetSchema": "message m { optional int32 minute_id; optional int32 dsp_id; optional int32 adx_pid; optional int64 req; optional int64 res; optional int64 suc; optional int64 imp; optional double revenue; }"

Tidak

Tidak ada

column

Daftar field yang akan dibaca. `type` menentukan tipe data dari data sumber. `index` menentukan kolom dari mana data dibaca. Nilai `index` dimulai dari 0. `value` menentukan bahwa kolom saat ini adalah konstanta. Data tidak dibaca dari file sumber tetapi dihasilkan secara otomatis berdasarkan nilai parameter ini.

"column": ["*"]

"column":
    {
       "type": "long",
       "index": 0    // Membaca field integer dari kolom pertama file teks OSS.
    },
    {
       "type": "string",
       "value": "alibaba"  // Menghasilkan field string dengan nilai "alibaba" dari dalam OSS Reader sebagai field saat ini.
    }

Ya

Semua data dibaca sebagai tipe STRING.

fileFormat

Format file sumber di OSS. Nilai yang valid: csv dan text. Kedua format mendukung pemisah kustom.

Ya

csv

fieldDelimiter

Pemisah yang memisahkan kolom dalam file sumber.

Ya

,

lineDelimiter

Pemisah yang memisahkan baris dalam file sumber.

Tidak

Tidak ada

compress

Format kompresi file teks. Nilai default kosong, yang menunjukkan bahwa file tidak dikompresi. Nilai yang valid: gzip, bzip2, dan zip.

Tidak

Tidak dikompresi

encoding

Format encoding file sumber.

Tidak

utf-8

nullFormat

Dalam file teks, Anda tidak dapat menggunakan string standar untuk mendefinisikan pointer null. Data Integration menyediakan parameter nullFormat untuk mendefinisikan string mana yang dapat diinterpretasikan sebagai null. Contoh:

• Jika Anda mengatur nullFormat:"null", yang merupakan karakter terlihat, dan data sumber adalah string "null", Data Integration menginterpretasikannya sebagai field null.

• Jika Anda mengatur nullFormat:"\u0001", yang merupakan karakter tak terlihat, dan data sumber adalah string "\u0001", Data Integration menginterpretasikannya sebagai field null.

• Jika Anda tidak menentukan parameter "nullFormat", data sumber ditulis ke tujuan apa adanya, tanpa konversi apa pun.

Tidak

Tidak ada

skipHeader

Menentukan apakah akan melewati header dalam file mirip CSV. Nilai default adalah false. Parameter skipHeader tidak didukung untuk file terkompresi.

Tidak

false

csvReaderConfig

Parameter untuk membaca file CSV. Parameter ini bertipe Map. CsvReader digunakan untuk membaca file CSV. Anda dapat mengonfigurasi beberapa parameter. Jika tidak mengonfigurasi parameter ini, nilai default digunakan.

Tidak

Tidak ada

Parameter

Deskripsi

Wajib

Nilai default

datasource

Nama sumber data. Anda dapat menambahkan sumber data di editor kode. Nilai parameter ini harus sama dengan nama sumber data yang ditambahkan.

Ya

Tidak ada

object

Nama file yang akan ditulis oleh OSS Writer. OSS menggunakan nama file untuk mensimulasikan folder. OSS memiliki batasan berikut pada nama objek:

• Jika Anda mengatur "object": "datax", nama objek yang ditulis dimulai dengan `datax` dan diikuti oleh string acak.

• Jika Anda mengatur "object": "cdo/datax", nama objek yang ditulis dimulai dengan /cdo/datax dan diikuti oleh string acak. Garis miring (/) digunakan sebagai pemisah untuk mensimulasikan folder di OSS.

Jika Anda tidak ingin sufiks UUID acak, atur "writeSingleObject" : "true". Untuk informasi lebih lanjut, lihat deskripsi parameter writeSingleObject.

Ya

Tidak ada

ossBlockSize

Ukuran bagian OSS. Ukuran default adalah 16 MB. Parameter ini hanya didukung saat file ditulis dalam format parquet atau ORC. Anda dapat menambahkan parameter ini pada level yang sama dengan parameter object.

Karena unggah multi-bagian OSS mendukung maksimal 10.000 bagian, ukuran default satu file dibatasi hingga 160 GB. Jika jumlah bagian melebihi batas, Anda dapat meningkatkan ukuran bagian untuk mendukung unggahan file yang lebih besar.

Tidak

16

writeMode

Metode pemrosesan data yang digunakan OSS Writer sebelum menulis data:

• truncate: Menghapus semua objek yang cocok dengan awalan nama objek yang ditentukan sebelum menulis data. Misalnya, jika Anda mengatur "object":"abc", semua objek yang namanya dimulai dengan `abc` dihapus.

• append: Tidak melakukan pemrosesan sebelum menulis data. OSS Writer langsung menulis data ke objek dengan nama yang ditentukan. UUID acak digunakan sebagai sufiks untuk memastikan nama file tidak bentrok. Misalnya, jika Anda menentukan nama objek sebagai `DI`, nama objek sebenarnya adalah DI_****_****_****.

• nonConflict: Melaporkan kesalahan jika objek yang cocok dengan awalan sudah ada di jalur yang ditentukan. Misalnya, jika Anda mengatur "object":"abc" dan objek bernama `abc123` sudah ada, kesalahan dilaporkan.

Ya

Tidak ada

writeSingleObject

Menentukan apakah akan menulis data ke satu file di OSS:

• true: Menulis data ke satu file. Saat tidak ada data yang dapat dibaca, file kosong tidak dihasilkan.

• false: Menulis data ke beberapa file. Saat tidak ada data yang dapat dibaca, jika header file dikonfigurasi, file kosong yang hanya berisi header file dihasilkan. Jika tidak, hanya file kosong yang dihasilkan.

Tidak

false

fileFormat

Format file yang akan ditulis. Format berikut didukung:

• csv: Hanya format csv ketat yang didukung. Jika data yang akan ditulis mencakup pemisah kolom, data tersebut di-escape sesuai sintaks escape csv. Karakter escape adalah tanda kutip ganda (").

• text: Data yang akan ditulis hanya dipisahkan oleh pemisah kolom. Jika data yang akan ditulis mencakup pemisah kolom, data tersebut tidak di-escape.

• parquet: Jika Anda menggunakan format file ini, Anda harus menambahkan parameter parquetSchema untuk mendefinisikan tipe data.

  Penting

  • Untuk menulis data dalam format Parquet, Anda harus beralih ke editor kode dan mengonfigurasi parameter parquetSchema. Untuk contoh konfigurasi, lihat Lampiran: Demo skrip dan deskripsi parameter.

  • Jika Anda tidak mengonfigurasi parameter parquetSchema, DataWorks mengonversi tipe data berdasarkan kebijakan tertentu untuk tipe field sumber. Untuk informasi lebih lanjut tentang kebijakan konversi, lihat Lampiran: Kebijakan konversi untuk tipe data Parquet.

• ORC: Untuk menggunakan format ini, Anda harus beralih ke editor kode.

Tidak

text

compress

Format kompresi file data yang akan ditulis ke OSS. Parameter ini harus dikonfigurasi di editor kode.

Tidak

Tidak ada

fieldDelimiter

Pemisah yang memisahkan kolom dalam file tujuan.

Tidak

,

encoding

Format encoding file tujuan.

Tidak

utf-8

parquetSchema

Parameter ini wajib saat Anda menulis data ke OSS dalam format Parquet. Parameter ini digunakan untuk menggambarkan struktur file tujuan. Parameter ini hanya berlaku ketika fileFormat diatur ke parquet. Formatnya sebagai berikut.

message MessageTypeName {
Required/Optional, Tipe data, Nama kolom;
......................;
}

Daftar berikut menjelaskan item konfigurasi:

• MessageTypeName: Masukkan nama.

• Required/Optional: `required` menunjukkan bahwa field tidak boleh null. `optional` menunjukkan bahwa field boleh null. Kami merekomendasikan agar Anda mengatur ini ke `optional` untuk semua field.

• Tipe data: File Parquet mendukung tipe BOOLEAN, INT32, INT64, INT96, FLOAT, DOUBLE, BINARY (gunakan BINARY untuk tipe string), dan FIXED_LEN_BYTE_ARRAY.

Pertimbangkan contoh berikut.

message m {
optional int64 id;
optional int64 date_id;
optional binary datetimestring;
optional int32 dspId;
optional int32 advertiserId;
optional int32 status;
optional int64 bidding_req_num;
optional int64 imp;
optional int64 click_num;
}

Tidak

Tidak ada

nullFormat

Anda tidak dapat menggunakan string standar untuk mendefinisikan null (pointer null) dalam file teks. Sistem sinkronisasi data menyediakan parameter nullFormat untuk mendefinisikan string yang merepresentasikan nilai null. Misalnya, jika Anda mengonfigurasi nullFormat="null" dan data sumber adalah null, sistem sinkronisasi data memperlakukannya sebagai field null.

Tidak

Tidak ada

header

Header file yang ditulis ke OSS. Contoh: ["id", "name", "age"].

Tidak

Tidak ada

maxFileSize (Konfigurasi lanjutan, tidak didukung di UI tanpa kode)

Ukuran maksimum satu file objek yang ditulis ke OSS. Nilai default adalah 10.000 × 10 MB. Ini mirip dengan mengontrol ukuran file log saat Anda mencetak log log4j. Saat OSS melakukan unggah multi-bagian, ukuran setiap bagian adalah 10 MB. Ini juga merupakan granularitas minimum untuk rotasi file log. Nilai maxFileSize kurang dari 10 MB dianggap sebagai 10 MB. Setiap OSS InitiateMultipartUploadRequest mendukung maksimal 10.000 bagian.

Saat rotasi terjadi, nama objek dibentuk dengan menambahkan UUID dan sufiks seperti _1, _2, atau _3 ke awalan objek asli.

Tidak

100.000

suffix (Konfigurasi lanjutan, tidak didukung di UI tanpa kode)

Sufiks nama file yang dihasilkan saat data ditulis. Misalnya, jika Anda mengatur suffix ke .csv, nama file akhir adalah fileName****.csv.

Tidak

Tidak ada