DataWorks：Sumber data OSS-HDFS

Batasan

Cara kerjanya

Pemetaan tipe data

Pembacaan data batch

Tabel berikut mencantumkan pemetaan tipe data berdasarkan mana OSS-HDFS Reader mengonversi tipe data dalam file Parquet, ORC, teks, dan CSV.

Penulisan data batch

OSS-HDFS Writer dapat menulis file teks, ORC, atau Parquet ke direktori tertentu di OSS-HDFS.

Mengembangkan tugas sinkronisasi data

Untuk informasi tentang titik masuk dan prosedur konfigurasi tugas sinkronisasi data, lihat bagian-bagian berikut. Untuk informasi tentang pengaturan parameter, lihat infotip setiap parameter pada tab konfigurasi tugas.

Menambahkan sumber data

Sebelum mengonfigurasi tugas sinkronisasi data untuk menyinkronkan data dari atau ke sumber data tertentu, Anda harus menambahkan sumber data ke DataWorks. Untuk informasi lebih lanjut, lihat Tambahkan dan Kelola Sumber Data.

Mengonfigurasi tugas sinkronisasi batch untuk menyinkronkan data satu tabel

• Untuk informasi lebih lanjut tentang prosedur konfigurasi, lihat Konfigurasikan Tugas Sinkronisasi Batch Menggunakan UI Tanpa Kode dan Konfigurasikan Tugas Sinkronisasi Batch Menggunakan Editor Kode.

• Untuk informasi tentang semua parameter yang dikonfigurasi dan kode yang dijalankan saat menggunakan editor kode untuk mengonfigurasi tugas sinkronisasi batch, lihat Lampiran: Kode dan Parameter.

Mengonfigurasi tugas sinkronisasi real-time untuk menyinkronkan data satu tabel

Untuk informasi lebih lanjut tentang prosedur konfigurasi, lihat Buat Tugas Sinkronisasi Real-Time untuk Menyinkronkan Data Inkremental dari Satu Tabel dan Konfigurasikan Tugas Sinkronisasi Real-Time di DataStudio.

Konfigurasikan pengaturan sinkronisasi untuk menerapkan sinkronisasi real-time data penuh atau inkremental dalam database

Untuk informasi lebih lanjut tentang prosedur konfigurasi, lihat Konfigurasikan Tugas Sinkronisasi di Data Integration.

Lampiran: Kode dan parameter

Lampiran: Konfigurasikan tugas sinkronisasi batch menggunakan editor kode

Jika menggunakan editor kode untuk mengonfigurasi tugas sinkronisasi batch, Anda harus mengonfigurasi parameter untuk reader dan writer sumber data terkait sesuai dengan persyaratan format dalam editor kode. Untuk informasi lebih lanjut tentang persyaratan format, lihat Konfigurasikan Tugas Sinkronisasi Batch Menggunakan Editor Kode. Informasi berikut menjelaskan detail konfigurasi parameter untuk reader dan writer dalam editor kode.

Kode untuk OSS-HDFS Reader

{
    "type": "job",
    "version": "2.0",
    "steps": [
        {
            "stepType": "oss_hdfs",// Nama Plugin.
            "parameter": {
                "path": "",// Path file dari mana Anda ingin membaca data.
                "datasource": "",// Nama sumber data.
                "column": [
                    {
                        "index": 0,// Indeks kolom dalam file sumber. Indeks dimulai dari 0, yang menunjukkan bahwa OSS-HDFS Reader membaca data dari kolom pertama file sumber.
                        "type": "string"// Tipe bidang.
                    },
                    {
                        "index": 1,
                        "type": "long"
                    },
                    {
                        "index": 2,
                        "type": "double"
                    },
                    {
                        "index": 3,
                        "type": "boolean"
                    },
                    {
                        "format": "yyyy-MM-dd HH:mm:ss", // Format waktu.
                        "index": 4,
                        "type": "date"
                    }
                ],
                "fieldDelimiter": ",",// Pemisah kolom.
                "encoding": "UTF-8",// Format encoding.
                "fileFormat": ""// Format file.
            },
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "stream",
            "parameter": {},
            "name": "Writer",
            "category": "writer"
        }
    ],
    "setting": {
        "errorLimit": {
            "record": ""// Jumlah maksimum catatan data kotor yang diizinkan.
        },
        "speed": {
            "concurrent": 3,// Jumlah maksimum thread paralel.
            "throttle": true // Menentukan apakah throttling diaktifkan. Nilai false menunjukkan bahwa throttling dinonaktifkan, dan nilai true menunjukkan bahwa throttling diaktifkan. Parameter mbps hanya berlaku jika parameter throttle diatur ke true.
            "mbps":"12"// Laju transmisi maksimum. Unit: MB/s.
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}

Parameter dalam kode untuk OSS-HDFS Reader

{
  "type": "long",
  "index": 0
  // Kolom LONG-tipe pertama dari file sumber. Indeks dimulai dari 0. Field index menunjukkan ID kolom dari mana Anda ingin membaca data dalam file.
},
{
  "type": "string",
  "value": "alibaba"
  // Nilai kolom saat ini, yaitu kolom konstan alibaba. Ini dihasilkan secara internal oleh OSS-HDFS Reader.
}

Kode untuk OSS-HDFS Writer

{
    "type": "job",
    "version": "2.0",// Nomor versi.
    "steps": [
        {
            "stepType": "stream",
            "parameter": {},
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "oss_hdfs",// Nama Plugin.
            "parameter": {
                "path": "",// Direktori di OSS-HDFS ke mana file ditulis.
                "fileName": "",// Awalan nama file yang ingin Anda tulis ke OSS-HDFS.
                "compress": "",// Format kompresi file yang ingin Anda tulis ke OSS-HDFS.
                "datasource": "",// Nama sumber data.
                "column": [
                    {
                        "name": "col1",// Nama kolom.
                        "type": "string"// Tipe data kolom.
                    },
                    {
                        "name": "col2",
                        "type": "int"
                    },
                    {
                        "name": "col3",
                        "type": "double"
                    },
                    {
                        "name": "col4",
                        "type": "boolean"
                    },
                    {
                        "name": "col5",
                        "type": "date"
                    }
                ],
                "writeMode": "",// Mode penulisan.
                "fieldDelimiter": ",",// Pemisah kolom.
                "encoding": "",// Format encoding.
                "fileFormat": "text"// Format file yang ingin Anda tulis ke OSS-HDFS.
            },
            "name": "Writer",
            "category": "writer"
        }
    ],
    "setting": {
        "errorLimit": {
            "record": ""// Jumlah maksimum catatan data kotor yang diizinkan.
        },
        "speed": {
            "concurrent": 3,// Jumlah maksimum thread paralel.
            "throttle": false // Menentukan apakah throttling diaktifkan. Nilai false menunjukkan bahwa throttling dinonaktifkan, dan nilai true menunjukkan bahwa throttling diaktifkan. Parameter mbps hanya berlaku jika parameter throttle diatur ke true.
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}

Parameter dalam kode untuk OSS-HDFS Writer

{
    "column":
    [
        {
            "name": "userName",
            "type": "string"
        },
        {
            "name": "age",
            "type": "long"
        }
    ]
}

message MessageName {
required, dataType, columnName;
.....................;
}

message m {
optional int64 id;
optional int64 date_id;
optional binary datetimestring;
optional int32 dspId;
optional int32 advertiserId;
optional int32 status;
optional int64 bidding_req_num;
optional int64 imp;
optional int64 click_num;
}