DataWorks:Sumber data DataHub

Pembacaan dan penulisan data batch

Tipe data STRING hanya mendukung encoding UTF-8. Satu bidang STRING dapat memiliki ukuran hingga 1 MB.

Pembacaan dan penulisan data real-time

• Tugas sinkronisasi real-time mendukung serverless resource groups.

• Sistem menyinkronkan data dengan nilai hash yang sama ke shard yang sama.

Penulisan database penuh secara real-time

Saat tugas dimulai, proses batch menulis data lengkap ke DataHub. Setelah sinkronisasi data penuh selesai, proses real-time mulai menyinkronkan data inkremental dari sumber ke tujuan.

• Data hanya dapat ditulis ke topik bertipe TUPLE di DataHub. Untuk informasi lebih lanjut tentang tipe data TUPLE, lihat Tipe data.

• Saat Anda menyinkronkan data ke DataHub secara real-time, lima bidang tambahan ditambahkan ke bidang tabel sumber. Anda juga dapat menambahkan bidang kustom saat mengonfigurasi tugas. Untuk informasi lebih lanjut tentang format pesan yang dikirim ke DataHub, lihat Lampiran: Format pesan.

Sinkronisasi batch tabel tunggal

• Untuk prosedurnya, lihat Gunakan Antarmuka tanpa kode dan Gunakan editor kode.

• Untuk daftar lengkap parameter dan contoh skrip editor kode, lihat Lampiran: Kode dan parameter.

Sinkronisasi real-time tabel tunggal

Sinkronisasi real-time database penuh

Untuk prosedurnya, lihat Konfigurasikan tugas sinkronisasi database penuh real-time.

Konfigurasikan tugas sinkronisasi batch menggunakan editor kode

Jika Anda ingin mengonfigurasi tugas sinkronisasi batch menggunakan editor kode, Anda harus mengonfigurasi parameter terkait dalam skrip berdasarkan persyaratan format skrip terpadu. Untuk informasi lebih lanjut, lihat Gunakan editor kode. Informasi berikut menjelaskan parameter yang harus Anda konfigurasi untuk sumber data saat mengonfigurasi tugas sinkronisasi batch menggunakan editor kode.

Contoh skrip Reader

{
    "type":"job",
    "version":"2.0",// Nomor versi.
    "steps":[
        {
         "job": {
           "content": [
            {
                "reader": {
                    "name": "DataHubreader",
                    "parameter": {
                        "endpoint": "xxx", // Titik akhir DataHub.
                        "accessId": "xxx", // ID AccessKey yang digunakan untuk mengakses DataHub.
                        "accessKey": "xxx", // Rahasia AccessKey yang digunakan untuk mengakses DataHub.
                        "project": "xxx", // Nama proyek DataHub tujuan.
                        "topic": "xxx", // Nama topik DataHub tujuan.
                        "batchSize": 1000, // Jumlah catatan yang dibaca sekaligus.
                        "beginDateTime": "20180910111214", // Waktu mulai konsumsi data.
                        "endDateTime": "20180910111614", // Waktu akhir konsumsi data.
                        "column": [
                            "col0",
                            "col1",
                            "col2",
                            "col3",
                            "col4"
                                  ]
                                }
                           },
                "writer": {
                    "name": "streamwriter",
                    "parameter": {
                        "print": false
                                 }
                            }
             }
           ]
         }
       }
     ],
    "setting":{
        "errorLimit":{
            "record":"0"// Jumlah maksimum error yang diizinkan.
        },
        "speed":{
            "throttle":true,// Jika throttle diatur ke false, parameter mbps diabaikan, dan tidak ada pembatasan kecepatan. Jika throttle diatur ke true, pembatasan kecepatan diaktifkan.
            "concurrent":1,// Jumlah thread konkuren.
            "mbps":"12"// Laju transfer data maksimum. 1 mbps = 1 MB/s.
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Parameter Pembaca

Contoh skrip Writer

{
    "type": "job",
    "version": "2.0",// Nomor versi.
    "steps": [
        { 
            "stepType": "stream",
            "parameter": {},
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "datahub",// Nama plugin.
            "parameter": {
                "datasource": "",// Sumber data.
                "topic": "",// Topik adalah unit dasar untuk langganan dan publikasi di DataHub. Anda dapat menggunakan topik untuk merepresentasikan jenis atau kategori tertentu dari data streaming.
                "maxRetryCount": 500,// Jumlah maksimum percobaan ulang jika tugas gagal.
                "maxCommitSize": 1048576// Data dikomit secara batch ketika buffer mencapai ukuran ini (dalam byte). Batas catatan per permintaan DataHub adalah 10.000. Untuk mencegah error, pastikan nilai ini kurang dari (ukuran rata-rata catatan * 10.000).
            },
            "name": "Writer",
            "category": "writer"
        }
    ],
    "setting": {
        "errorLimit": {
            "record": ""// Jumlah maksimum error yang diizinkan.
        },
        "speed": {
            "throttle":true,// Jika throttle diatur ke false, parameter mbps diabaikan, dan tidak ada pembatasan kecepatan. Jika throttle diatur ke true, pembatasan kecepatan diaktifkan.
            "concurrent":20, // Jumlah thread konkuren.
            "mbps":"12"// Laju transfer data maksimum. 1 mbps = 1 MB/s.
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}

Parameter Writer