DataWorks:OSS-HDFS

Baca offline

• Saat menggunakan OSS-HDFS Reader, perhatikan hal berikut:

  Koneksi jaringan dari kelompok sumber daya ke OSS-HDFS bisa kompleks. Untuk menjalankan tugas sinkronisasi data, gunakan Serverless resource group (direkomendasikan) atau exclusive resource group for Data Integration. Pastikan kelompok sumber daya Anda dapat mengakses OSS-HDFS melalui jaringan.

• OSS-HDFS Reader mendukung fitur-fitur berikut:

  • Mendukung file dalam format text, csv, orc, dan parquet. Konten file harus berupa tabel dua dimensi logis.

  • Mendukung pembacaan berbagai tipe data dan konstanta kolom.

  • Mendukung pembacaan rekursif serta karakter wildcard * dan ?.

  • Mendukung pembacaan konkuren dari beberapa file.

Tulis offline

Saat menggunakan OSS-HDFS Writer, perhatikan hal berikut:

• OSS-HDFS Writer hanya mendukung file dalam format text, orc, dan parquet. Konten file harus berupa tabel dua dimensi logis.

• Untuk file teks, pastikan pemisah yang digunakan saat menulis ke file OSS-HDFS sama dengan pemisah yang digunakan saat membuat tabel di Hive. Hal ini memastikan bahwa data yang ditulis ke OSS-HDFS terkait dengan benar ke bidang-bidang dalam tabel Hive.

Real-time write

• Mendukung penulisan real-time.

• Mendukung penulisan real-time untuk format Hudi versi 0.14.x.

Baca offline

Tipe data dalam ParquetFile, ORCFile, TextFile, dan CsvFile dikonversi ke tipe data internal yang didukung Data Integration, seperti ditunjukkan pada tabel berikut.

Tulis offline

OSS-HDFS Writer menulis file dalam format TextFile, ORCFile, dan ParquetFile ke path yang ditentukan dalam sistem file OSS-HDFS.

Tipe data yang didukung ditampilkan pada tabel berikut.

Konfigurasikan tugas sinkronisasi offline untuk satu tabel

• Untuk informasi lebih lanjut, lihat Configure a task in the codeless UI dan Configure a task in the code editor.

• Untuk daftar semua parameter dan contoh skrip untuk editor kode, lihat Appendix: OSS-HDFS script demo and parameter descriptions.

Konfigurasikan tugas sinkronisasi real-time untuk satu tabel

Untuk informasi lebih lanjut, lihat Configure real-time incremental synchronization for a single table dan Configure a real-time synchronization task in DataStudio.

Konfigurasikan tugas sinkronisasi real-time penuh dan inkremental untuk seluruh database

Untuk informasi selengkapnya, lihat Mengonfigurasi Tugas Sinkronisasi Real-Time untuk Seluruh Database.

Konfigurasikan tugas sinkronisasi batch menggunakan editor kode

Jika ingin mengonfigurasi tugas sinkronisasi batch menggunakan editor kode, Anda harus mengatur parameter terkait dalam skrip sesuai persyaratan format skrip terpadu. Untuk informasi lebih lanjut, lihat Configure a task in the code editor. Informasi berikut menjelaskan parameter yang harus Anda konfigurasi untuk sumber data saat mengatur tugas sinkronisasi batch menggunakan editor kode.

Contoh skrip Reader

{
    "type": "job",
    "version": "2.0",
    "steps": [
        {
            "stepType": "oss_hdfs",// Plugin name
            "parameter": {
                "path": "",// The path of the file to read.
                "datasource": "",// Data source
                "column": [
                    {
                        "index": 0,// The serial number. The index starts from 0. This indicates that data is read from the first column of the local text file.
                        "type": "string"// Field type
                    },
                    {
                        "index": 1,
                        "type": "long"
                    },
                    {
                        "index": 2,
                        "type": "double"
                    },
                    {
                        "index": 3,
                        "type": "boolean"
                    },
                    {
                        "format": "yyyy-MM-dd HH:mm:ss", // Date format
                        "index": 4,
                        "type": "date"
                    }
                ],
                "fieldDelimiter": ",",// Column delimiter
                "encoding": "UTF-8",// Encoding format
                "fileFormat": ""// Text type
            },
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "stream",
            "parameter": {},
            "name": "Writer",
            "category": "writer"
        }
    ],
    "setting": {
        "errorLimit": {
            "record": ""// Number of error records
        },
        "speed": {
            "concurrent": 3,// Job concurrency
            "throttle": true, // If throttle is set to false, the mbps parameter does not take effect, and no rate limiting is applied. If throttle is set to true, rate limiting is applied.
            "mbps":"12"// Rate limit. 1 mbps = 1 MB/s.
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}

Parameter skrip Reader

{
  "type": "long",
  "index": 0
  // Obtains the LONG field from the first column (index starts from 0) of the local text file. index indicates that column data is obtained from the data file.
},
{
  "type": "string",
  "value": "alibaba"
  // HDFS Reader internally generates a string field named alibaba as the current field. value indicates a constant column.
}

Contoh skrip Writer

{
    "type": "job",
    "version": "2.0",// Version number.
    "steps": [
        {
            "stepType": "stream",
            "parameter": {},
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "oss_hdfs",// Plugin name.
            "parameter": {
                "path": "",// The path to store the file in the OSS-HDFS file system.
                "fileName": "",// The name of the file to be written by OSS-HDFS Writer.
                "compress": "",// The compression type of the OSS-HDFS file.
                "datasource": "",// Data source.
                "column": [
                    {
                        "name": "col1",// Field name.
                        "type": "string"// Field type.
                    },
                    {
                        "name": "col2",
                        "type": "int"
                    },
                    {
                        "name": "col3",
                        "type": "double"
                    },
                    {
                        "name": "col4",
                        "type": "boolean"
                    },
                    {
                        "name": "col5",
                        "type": "date"
                    }
                ],
                "writeMode": "",// Write mode.
                "fieldDelimiter": ",",// Column delimiter.
                "encoding": "",// Encoding format.
                "fileFormat": "text"// Text type.
            },
            "name": "Writer",
            "category": "writer"
        }
    ],
    "setting": {
        "errorLimit": {
            "record": ""// Number of error records.
        },
        "speed": {
            "concurrent": 3,// Job concurrency.
            "throttle": false // false indicates that no rate limiting is applied, and the rate limit speed below does not take effect. true indicates that rate limiting is applied.
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}

Parameter skrip Writer

{
    "column":
    [
        {
            "name": "userName",
            "type": "string"
        },
        {
            "name": "age",
            "type": "long"
        }
    ]
}

message MessageName {
RequiredOrOptional DataType FieldName;
.....................;
}

message m {
optional int64 id;
optional int64 date_id;
optional binary datetimestring;
optional int32 dspId;
optional int32 advertiserId;
optional int32 status;
optional int64 bidding_req_num;
optional int64 imp;
optional int64 click_num;
}