DataWorks:Sumber data LogHub (SLS)

Konfigurasikan sumber data

Sebelum mengembangkan tugas sinkronisasi data, buat sumber data di DataWorks. Untuk prosedurnya, lihat Create a data source. Untuk deskripsi detail parameter konfigurasi, lihat tooltip setiap parameter pada halaman konfigurasi.

Panduan konfigurasi tugas sinkronisasi offline tabel tunggal

• Untuk prosedurnya, lihat Codeless UI configuration dan Script mode configuration.

  Catatan

  Saat Anda mengonfigurasi node sinkronisasi dalam mode antarmuka tanpa kode, format parameter harus konsisten dengan format konfigurasi parameter di Appendix 1: Script demos and parameter description.

• Untuk parameter lengkap dan demo skrip dalam mode skrip, lihat Appendix 1: Script demos and parameter description di bawah.

Panduan konfigurasi tugas sinkronisasi real-time tabel tunggal

Untuk prosedurnya, lihat Single-table real-time synchronization task configuration.

Panduan konfigurasi tugas sinkronisasi real-time basis data penuh dan tugas sinkronisasi tingkat basis data penuh lainnya

Untuk prosedurnya, lihat Configure real-time full-database synchronization tasks.

Konfigurasikan tugas sinkronisasi batch menggunakan editor kode

Jika Anda ingin mengonfigurasi tugas sinkronisasi batch menggunakan editor kode, Anda harus mengonfigurasi parameter terkait dalam skrip berdasarkan persyaratan format skrip terpadu. Untuk informasi lebih lanjut, lihat Script mode configuration. Informasi berikut menjelaskan parameter yang harus Anda konfigurasi untuk sumber data saat mengonfigurasi tugas sinkronisasi batch menggunakan editor kode.

Demo skrip Reader

Demo baca dari Logstore

{
 "type":"job",
 "version":"2.0",// Nomor versi.
 "steps":[
     {
         "stepType":"LogHub",// Nama plugin.
         "parameter":{
             "datasource":"",// Sumber data.
             "column":[// Kolom.
                 "col0",
                 "col1",
                 "col2",
                 "col3",
                 "col4",
                 "__category__",
                 "__source__",
                 "__topic__", // Topik log.
                 "__machineUUID__", // Pengidentifikasi unik mesin koleksi.
                 "__tag__:__hostname__", // Hostname.
                 "__tag__:__path__", // Jalur.
                 "__time__" // Waktu event.
             ],
             "beginDateTime":"",// Waktu mulai konsumsi data.
             "batchSize":"",// Jumlah entri data yang diambil dari SLS dalam satu kueri.
             "endDateTime":"",// Waktu akhir konsumsi data.
             "fieldDelimiter":",",// Pemisah kolom.
             "logstore":""// Nama Logstore tujuan.
         },
         "name":"Reader",
         "category":"reader"
     },
     {
         "stepType":"stream",
         "parameter":{},
         "name":"Writer",
         "category":"writer"
     }
 ],
 "setting":{
     "errorLimit":{
         "record":"0"// Jumlah catatan error.
     },
     "speed":{
         "throttle":true,// Jika throttle diatur ke false, parameter mbps tidak berlaku dan bandwidth tidak dibatasi. Jika throttle diatur ke true, bandwidth dibatasi.
            "concurrent":1 // Jumlah thread konkuren.
            "mbps":"12",// Laju pembatasan. 1 mbps = 1 MB/s.
     }
 },
 "order":{
     "hops":[
         {
             "from":"Reader",
             "to":"Writer"
         }
     ]
 }
}

Demo baca dari Logstore setelah pemrosesan data SPL

{
 "type":"job",
 "version":"2.0",// Nomor versi.
 "steps":[
     {
         "stepType":"LogHub",// Nama plugin.
         "parameter":{
             "datasource":"",// Sumber data.
             "column":[// Kolom.
                 "col100",
                 "col1"
             ],
             "beginDateTime":"",// Waktu mulai konsumsi data.
             "batchSize":"",// Jumlah entri data yang diambil dari SLS dalam satu kueri.
             "endDateTime":"",// Waktu akhir konsumsi data.
             "fieldDelimiter":",",// Pemisah kolom.
             "logstore":"",// Nama Logstore tujuan.
             "query":"* | where regexp_like(col0, '[0-9]+') | project col100=col0, col1 " // SPL
         },
         "name":"Reader",
         "category":"reader"
     },
     {
         "stepType":"stream",
         "parameter":{},
         "name":"Writer",
         "category":"writer"
     }
 ],
 "setting":{
     "errorLimit":{
         "record":"0"// Jumlah catatan error.
     },
     "speed":{
         "throttle":true,// Jika throttle diatur ke false, parameter mbps tidak berlaku dan bandwidth tidak dibatasi. Jika throttle diatur ke true, bandwidth dibatasi.
            "concurrent":1 // Jumlah thread konkuren.
            "mbps":"12",// Laju pembatasan. 1 mbps = 1 MB/s.
     }
 },
 "order":{
     "hops":[
         {
             "from":"Reader",
             "to":"Writer"
         }
     ]
 }
}

Demo baca dari Logstore setelah memperluas bidang dengan SPL

{
 "type":"job",
 "version":"2.0",// Nomor versi.
 "steps":[
     {
         "stepType":"LogHub",// Nama plugin.
         "parameter":{
             "datasource":"",// Sumber data.
             "column":[// Kolom.
               "col0",
               "col1",
               "col2",
               "col3",
               "col4",
               "__category__",
               "__source__",
               "__topic__", // Topik log.
               "__machineUUID__", // Pengidentifikasi unik mesin koleksi.
               "__tag__:__hostname__", // Hostname.
               "__tag__:__path__", // Jalur.
               "__time__", // Waktu event.
               "col100",
               "col101"
             ],
             "beginDateTime":"",// Waktu mulai konsumsi data.
             "batchSize":"",// Jumlah entri data yang diambil dari SLS dalam satu kueri.
             "endDateTime":"",// Waktu akhir konsumsi data.
             "fieldDelimiter":",",// Pemisah kolom.
             "logstore":"",// Nama Logstore tujuan.
             "query":"* | where regexp_like(col0, '[0-9]+') | extend col100=cast(col2 as BIGINT), extend col101=date_parse(col3, '%Y-%m-%d %H:%i') ",// SPL
         },
         "name":"Reader",
         "category":"reader"
     },
     {
         "stepType":"stream",
         "parameter":{},
         "name":"Writer",
         "category":"writer"
     }
 ],
 "setting":{
     "errorLimit":{
         "record":"0"// Jumlah catatan error.
     },
     "speed":{
         "throttle":true,// Jika throttle diatur ke false, parameter mbps tidak berlaku dan bandwidth tidak dibatasi. Jika throttle diatur ke true, bandwidth dibatasi.
            "concurrent":1 // Jumlah thread konkuren.
            "mbps":"12",// Laju pembatasan. 1 mbps = 1 MB/s.
     }
 },
 "order":{
     "hops":[
         {
             "from":"Reader",
             "to":"Writer"
         }
     ]
 }
}

Parameter skrip Reader

Jika data hilang saat Anda membaca dari LogHub untuk sinkronisasi, periksa di konsol LogHub apakah bidang metadata receive_time data tersebut berada dalam rentang waktu yang dikonfigurasi untuk tugas tersebut.

Demo skrip Writer

{
    "type": "job",
    "version": "2.0",// Nomor versi.
    "steps": [
        { 
            "stepType": "stream",
            "parameter": {},
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "LogHub",// Nama plugin.
            "parameter": {
                "datasource": "",// Sumber data.
                "column": [// Kolom.
                    "col0",
                    "col1",
                    "col2",
                    "col3",
                    "col4",
                    "col5"
                ],
                "topic": "",// Topik yang dipilih.
                "batchSize": "1024",// Jumlah catatan yang dikirim sekaligus.
                "logstore": ""// Nama Logstore LogService tujuan.
            },
            "name": "Writer",
            "category": "writer"
        }
    ],
    "setting": {
        "errorLimit": {
            "record": ""// Jumlah catatan error.
        },
        "speed": {
            "throttle":true,// Jika throttle diatur ke false, parameter mbps tidak berlaku dan pembatasan kecepatan dinonaktifkan. Jika throttle diatur ke true, pembatasan kecepatan diaktifkan.
            "concurrent":3, // Jumlah maksimum thread konkuren.
            "mbps":"12"// Laju pembatasan. 1 mbps = 1 MB/s.
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}

Parameter skrip Writer

LogHub (SLS) Writer menerima data dari reader melalui framework Data Integration, mengonversi semua tipe data ke STRING, dan mendorong data ke LogHub (SLS) secara batch menggunakan LogService Java SDK ketika batchSize yang ditentukan tercapai.