DataWorks:Sumber data LogHub (SLS)

Konfigurasikan sumber data

Saat mengembangkan tugas sinkronisasi data, Anda perlu membuat sumber data yang sesuai di DataWorks. Untuk prosedurnya, lihat Manajemen Sumber Data. Penjelasan detail parameter konfigurasi tersedia dalam tooltip pada halaman konfigurasi.

Sinkronisasi tabel tunggal offline

• Untuk informasi selengkapnya, lihat Konfigurasi Antarmuka tanpa kode dan Konfigurasi editor kode.

  Catatan

  Saat mengonfigurasi tugas sinkronisasi di Antarmuka tanpa kode, format parameter harus konsisten dengan format yang dijelaskan dalam Lampiran 1: Demo Skrip dan Deskripsi Parameter.

• Untuk semua parameter konfigurasi editor kode dan demo skrip, lihat Lampiran 1: Demo Skrip dan Deskripsi Parameter.

Sinkronisasi tabel tunggal real-time

Untuk prosedurnya, lihat Konfigurasi tugas sinkronisasi real-time (Legacy) atau Konfigurasi tugas sinkronisasi real-time tabel tunggal.

Sinkronisasi seluruh database

Untuk prosedurnya, lihat Konfigurasikan tugas sinkronisasi real-time untuk seluruh database.

Konfigurasikan tugas sinkronisasi batch menggunakan editor kode

Jika ingin mengonfigurasi tugas sinkronisasi batch menggunakan editor kode, Anda harus mengonfigurasi parameter terkait dalam skrip sesuai persyaratan format skrip terpadu. Untuk informasi selengkapnya, lihat Gunakan editor kode. Informasi berikut menjelaskan parameter yang harus dikonfigurasi untuk sumber data saat mengonfigurasi tugas sinkronisasi batch menggunakan editor kode.

Contoh skrip Reader

{
 "type":"job",
 "version":"2.0",// Nomor versi.
 "steps":[
     {
         "stepType":"LogHub",// Nama plug-in.
         "parameter":{
             "datasource":"",// Sumber data.
             "column":[// Bidang.
                 "col0",
                 "col1",
                 "col2",
                 "col3",
                 "col4",
                 "C_Category",
                 "C_Source",
                 "C_Topic",
                 "C_MachineUUID", // Topic log.
                 "C_HostName", // Hostname.
                 "C_Path", // Jalur.
                 "C_LogTime" // Waktu event.
             ],
             "beginDateTime":"",// Waktu mulai konsumsi data.
             "batchSize":"",// Jumlah entri data yang dikueri dari Simple Log Service sekaligus.
             "endDateTime":"",// Waktu berhenti konsumsi data.
             "logstore":""// Nama Logstore tujuan.
         },
         "name":"Reader",
         "category":"reader"
     },
     { 
         "stepType":"stream",
         "parameter":{},
         "name":"Writer",
         "category":"writer"
     }
 ],
 "setting":{
     "errorLimit":{
         "record":"0"// Jumlah catatan error yang diizinkan.
     },
     "speed":{
         "throttle":true,// Jika throttle diatur ke false, parameter mbps tidak berlaku, dan tidak ada batas laju. Jika throttle diatur ke true, batas laju diterapkan.
            "concurrent":1, // Jumlah tugas konkuren.
            "mbps":"12"// Batas laju dalam MB/s.
     }
 },
 "order":{
     "hops":[
         {
             "from":"Reader",
             "to":"Writer"
         }
     ]
 }
}

Parameter Reader

Contoh skrip Writer

{
    "type": "job",
    "version": "2.0",// Nomor versi.
    "steps": [
        { 
            "stepType": "stream",
            "parameter": {},
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "LogHub",// Nama plug-in.
            "parameter": {
                "datasource": "",// Sumber data.
                "column": [// Bidang.
                    "col0",
                    "col1",
                    "col2",
                    "col3",
                    "col4",
                    "col5"
                ],
                "topic": "",// Topic yang dipilih.
                "batchSize": "1024",// Jumlah catatan dalam satu batch.
                "logstore": ""// Nama Logstore tujuan.
            },
            "name": "Writer",
            "category": "writer"
        }
    ],
    "setting": {
        "errorLimit": {
            "record": ""// Jumlah catatan error yang diizinkan.
        },
        "speed": {
            "throttle":true,// Jika throttle diatur ke false, parameter mbps tidak berlaku, dan tidak ada batas laju. Jika throttle diatur ke true, batas laju diterapkan.
            "concurrent":3, // Jumlah tugas konkuren.
            "mbps":"12"// Batas laju dalam MB/s.
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}

Parameter Writer