DataWorks:ClickHouse データソース

単一テーブルのオフライン同期タスクの設定

• 手順の詳細については、「コードレス UI でのタスクの設定」および「コードエディタでのタスクの設定」をご参照ください。

• コードエディタモードのすべてのパラメーターとスクリプト例の詳細については、「付録：スクリプトデモとパラメーターの説明」をご参照ください。

データベース全体のオフライン読み取り同期の設定

手順の詳細については、「リアルタイムのデータベース全体の同期タスクの設定」をご参照ください。

コードエディタを使用したバッチ同期タスクの設定

コードエディタを使用してバッチ同期タスクを設定する場合、統一されたスクリプトフォーマットの要件に基づいて、スクリプト内の関連パラメーターを設定する必要があります。詳細については、「コードエディタでのタスクの設定」をご参照ください。以下では、コードエディタを使用してバッチ同期タスクを設定する際に、データソースに対して設定する必要があるパラメーターについて説明します。

Reader スクリプトデモ

{
    "type": "job",
    "version": "2.0",
    "steps": [
        {
            "stepType": "clickhouse", // プラグイン名
            "parameter": {
                "fetchSize":1024,// データベースサーバーから一度にフェッチするレコード数
                "datasource": "example",
                "column": [   // カラム名
                    "id",
                    "name"
                ],
                "where": "",    // フィルター条件
                "splitPk": "",  // シャーディングキー
                "table": ""    // テーブル名
            },
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "clickhouse",
            "parameter": {
                "postSql": [
                    "update @table set db_modify_time = now() where db_id = 1"
                ],
                "datasource": "example",    // データソース
                "batchByteSize": "67108864",
                "column": [
                    "id",
                    "name"
                ],
                "writeMode": "insert",
                "encoding": "UTF-8",
                "batchSize": 1024,
                "table": "ClickHouse_table",
                "preSql": [
                    "delete from @table where db_id = -1"
                ]
            },
            "name": "Writer",
            "category": "writer"
        }
    ],
    "setting": {
        "executeMode": null,
        "errorLimit": {
            "record": "0"  // 同期中に許容されるエラーレコードの最大数
        },
        "speed": {
         "throttle":true,// throttle が false の場合、mbps は無視されます (速度制限なし)。throttle が true の場合、速度制限が有効になります。
            "concurrent":1, // ジョブの同時実行数
            "mbps":"12"// 速度制限率。1 mbps = 1 MB/s
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}

Reader スクリプトのパラメーター

Writer スクリプトデモ

{
    "type":"job",
    "version":"2.0",// バージョン番号
    "steps":[
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"clickhouse",// プラグイン名
            "parameter":{
                "username": "",
                "password": "",
                "column": [// フィールド
                    "id",
                    "name"
                ],
                "connection": [
                    {
                        "table": [// テーブル名
                            "ClickHouse_table"
                        ],
                        "jdbcUrl": "jdbc:clickhouse://ip:port/database"
                    }
                ],
                "preSql": [ // 同期タスク実行前に実行される SQL 文
                    "TRUNCATETABLEIFEXISTStablename"
                ],
                "postSql": [// 同期タスク実行後に実行される SQL 文
                    "ALTERTABLEtablenameUPDATEcol1=1WHEREcol2=2"
                ],
                "batchSize": "1024",
                "batchByteSize": "67108864",
                "writeMode": "insert"
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"// エラーレコード数
        },
        "speed":{
            "throttle":true,// throttle が false の場合、mbps は無視されます (速度制限なし)。throttle が true の場合、速度制限が有効になります。
            "concurrent":1, // ジョブの同時実行数
            "mbps":"12"// 速度制限率。1 mbps = 1 MB/s
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Writer スクリプトのパラメーター