DataWorks：Sumber data ClickHouse

Konfigurasikan task sinkronisasi offline satu tabel

• Untuk informasi lebih lanjut tentang prosedurnya, lihat Konfigurasikan task di Antarmuka tanpa kode dan Konfigurasikan task di editor kode.

• Untuk informasi lebih lanjut tentang semua parameter dan contoh skrip dalam mode editor kode, lihat Lampiran: Demo skrip dan deskripsi parameter.

Konfigurasikan sinkronisasi baca offline seluruh database

Untuk informasi lebih lanjut tentang prosedurnya, lihat Konfigurasikan task sinkronisasi database penuh secara real-time.

Konfigurasikan task sinkronisasi batch menggunakan editor kode

Jika ingin mengonfigurasi task sinkronisasi batch menggunakan editor kode, Anda harus mengonfigurasi parameter terkait dalam skrip sesuai dengan persyaratan format skrip terpadu. Untuk informasi lebih lanjut, lihat Konfigurasikan task di editor kode. Informasi berikut menjelaskan parameter yang harus dikonfigurasi untuk sumber data saat mengonfigurasi task sinkronisasi batch menggunakan editor kode.

Demo skrip Reader

{
    "type": "job",
    "version": "2.0",
    "steps": [
        {
            "stepType": "clickhouse", // Nama plug-in.
            "parameter": {
                "fetchSize":1024,// Jumlah catatan yang diambil per batch dari server database.
                "datasource": "example",
                "column": [   // Nama kolom.
                    "id",
                    "name"
                ],
                "where": "",    // Kondisi filter.
                "splitPk": "",  // Kunci shard.
                "table": ""    // Nama tabel.
            },
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "clickhouse",
            "parameter": {
                "postSql": [
                    "update @table set db_modify_time = now() where db_id = 1"
                ],
                "datasource": "example",    // Sumber data.
                "batchByteSize": "67108864",
                "column": [
                    "id",
                    "name"
                ],
                "writeMode": "insert",
                "encoding": "UTF-8",
                "batchSize": 1024,
                "table": "ClickHouse_table",
                "preSql": [
                    "delete from @table where db_id = -1"
                ]
            },
            "name": "Writer",
            "category": "writer"
        }
    ],
    "setting": {
        "executeMode": null,
        "errorLimit": {
            "record": "0"  // Jumlah maksimum catatan error yang diizinkan selama sinkronisasi.
        },
        "speed": {
         "throttle":true,// Saat throttle bernilai false, mbps diabaikan (tanpa pembatasan kecepatan). Saat throttle bernilai true, pembatasan kecepatan diaktifkan.
            "concurrent":1 // Konkurensi pekerjaan.
            "mbps":"12",// Laju pembatasan kecepatan. 1 mbps = 1 MB/s.
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}

Parameter skrip Reader

Demo skrip Writer

{
    "type":"job",
    "version":"2.0",// Nomor versi.
    "steps":[
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"clickhouse",// Nama plug-in.
            "parameter":{
                "username": "",
                "password": "",
                "column": [// Bidang.
                    "id",
                    "name"
                ],
                "connection": [
                    {
                        "table": [// Nama tabel.
                            "ClickHouse_table"
                        ],
                        "jdbcUrl": "jdbc:clickhouse://ip:port/database"
                    }
                ],
                "preSql": [ // Pernyataan SQL yang dieksekusi sebelum task sinkronisasi dijalankan.
                    "TRUNCATETABLEIFEXISTStablename"
                ],
                "postSql": [// Pernyataan SQL yang dieksekusi setelah task sinkronisasi dijalankan.
                    "ALTERTABLEtablenameUPDATEcol1=1WHEREcol2=2"
                ],
                "batchSize": "1024",
                "batchByteSize": "67108864",
                "writeMode": "insert"
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"// Jumlah catatan error.
        },
        "speed":{
            "throttle":true,// Saat throttle bernilai false, mbps diabaikan (tanpa pembatasan kecepatan). Saat throttle bernilai true, pembatasan kecepatan diaktifkan.
            "concurrent":1, // Konkurensi pekerjaan.
            "mbps":"12"// Laju pembatasan kecepatan. 1 mbps = 1 MB/s.
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Parameter skrip Writer