DataWorks:Sumber data DataHub

Pembacaan/penulisan batch

Tipe data STRING hanya mendukung pengkodean UTF-8. Satu kolom STRING tidak boleh melebihi 1 MB.

Pembacaan/penulisan real-time

• Tugas sinkronisasi real-time mendukung serverless resource groups.

• Saat melakukan sinkronisasi data ke DataHub secara real-time, data di-shard berdasarkan nilai hash dari data sumber. Catatan (record) dengan nilai hash yang sama akan disinkronkan ke shard yang sama.

Penulisan real-time basis data penuh

Saat menjalankan tugas, tugas sinkronisasi batch terlebih dahulu menulis data lengkap ke DataHub. Kemudian, tugas sinkronisasi real-time dimulai untuk menyinkronkan data inkremental dari sumber ke tujuan. Data ditulis berdasarkan aturan berikut:

• Data hanya dapat ditulis ke topik DataHub bertipe TUPLE. Untuk informasi lebih lanjut mengenai tipe data TUPLE, lihat Tipe data.

• Saat melakukan sinkronisasi data ke DataHub secara real-time, lima bidang tambahan ditambahkan ke bidang tabel sumber. Anda juga dapat menambahkan bidang lain saat mengonfigurasi tugas. Untuk informasi lebih lanjut mengenai format pesan akhir yang dikirim ke DataHub, lihat Lampiran: Format pesan DataHub.

Konfigurasi tugas sinkronisasi batch tabel tunggal

• Untuk prosedurnya, lihat Konfigurasi tugas sinkronisasi batch dalam mode wizard dan Konfigurasi tugas sinkronisasi batch dalam mode skrip.

• Untuk semua parameter dan contoh skrip konfigurasi mode skrip, lihat Lampiran: Contoh skrip dan deskripsi parameter di bawah ini.

Konfigurasi tugas sinkronisasi real-time tabel tunggal

Konfigurasi tugas sinkronisasi real-time basis data penuh

Untuk prosedurnya, lihat Konfigurasi tugas sinkronisasi real-time basis data penuh.

Konfigurasi tugas sinkronisasi batch menggunakan editor kode

Jika ingin mengonfigurasi tugas sinkronisasi batch menggunakan editor kode, Anda harus mengonfigurasi parameter terkait dalam skrip berdasarkan persyaratan format skrip terpadu. Untuk informasi lebih lanjut, lihat Gunakan Editor Kode. Informasi berikut menjelaskan parameter yang harus Anda konfigurasi untuk sumber data saat mengonfigurasi tugas sinkronisasi batch menggunakan editor kode.

Contoh skrip Reader

{
    "type":"job",
    "version":"2.0",// Nomor versi.
    "steps":[
        {
         "job": {
           "content": [
            {
                "reader": {
                    "name": "DataHubreader",
                    "parameter": {
                        "endpoint": "xxx" // Titik akhir DataHub.
                        "accessId": "xxx", // ID AccessKey yang digunakan untuk mengakses DataHub.
                        "accessKey": "xxx", // Rahasia AccessKey yang digunakan untuk mengakses DataHub.
                        "project": "xxx", // Nama proyek DataHub.
                        "topic": "xxx" // Nama topik DataHub.
                        "batchSize": 1000, // Jumlah catatan yang dibaca sekaligus.
                        "beginDateTime": "20180910111214", // Waktu mulai untuk konsumsi data.
                        "endDateTime": "20180910111614", // Waktu akhir untuk konsumsi data.
                        "column": [
                            "col0",
                            "col1",
                            "col2",
                            "col3",
                            "col4"
                                  ]
                                }
                           },
                "writer": {
                    "name": "streamwriter",
                    "parameter": {
                        "print": false
                                 }
                            }
             }
           ]
         }
       }
     ],
    "setting":{
        "errorLimit":{
            "record":"0"// Jumlah kesalahan.
        },
        "speed":{
            "throttle":true,// Menentukan apakah Pembatasan kecepatan diaktifkan. Jika throttle diatur ke false, parameter mbps tidak berlaku, artinya Pembatasan kecepatan dinonaktifkan. Jika throttle diatur ke true, Pembatasan kecepatan diaktifkan.
            "concurrent":1,// Konkurensi.
            "mbps":"12"// Laju Pembatasan kecepatan. 1 mbps = 1 MB/s.
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Parameter skrip Reader

Contoh skrip Writer

{
    "type": "job",
    "version": "2.0",// Nomor versi.
    "steps": [
        { 
            "stepType": "stream",
            "parameter": {},
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "datahub",// Nama plugin.
            "parameter": {
                "datasource": "",// Sumber data.
                "topic": "",// Topik adalah unit terkecil untuk langganan dan penerbitan di DataHub. Anda dapat menggunakan topik untuk merepresentasikan jenis atau kategori data streaming.
                "maxRetryCount": 500,// Jumlah maksimum percobaan ulang saat tugas gagal.
                "maxCommitSize": 1048576// Data dikomit secara batch ke tujuan ketika buffer data terakumulasi mencapai maxCommitSize (dalam byte).
                 // DataHub membatasi satu permintaan hingga 10.000 catatan. Melebihi batas ini menyebabkan kesalahan tugas. Atur parameter ini berdasarkan ukuran rata-rata per catatan dikalikan 10.000. Misalnya, jika setiap catatan berukuran 10 KB, atur parameter ini ke nilai di bawah 10 × 10.000 KB.
            },
            "name": "Writer",
            "category": "writer"
        }
    ],
    "setting": {
        "errorLimit": {
            "record": ""// Jumlah kesalahan.
        },
        "speed": {
            "throttle":true,// Menentukan apakah Pembatasan kecepatan diaktifkan. Jika throttle diatur ke false, parameter mbps tidak berlaku, artinya Pembatasan kecepatan dinonaktifkan. Jika throttle diatur ke true, Pembatasan kecepatan diaktifkan.
            "concurrent":20, // Konkurensi.
            "mbps":"12"// Laju Pembatasan kecepatan. 1 mbps = 1 MB/s.
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}

Parameter skrip Writer