DataWorks:ClickHouse データソース

単一テーブルのバッチ同期

• 設定手順については、「コードレス UI を使用したタスクの設定」および「コードエディタを使用したタスクの設定」をご参照ください。

• コードエディタでのタスク設定に必要なパラメーターの一覧およびスクリプトのサンプルについては、「付録：スクリプトのサンプルとパラメーターの説明」をご参照ください。

データベース全体のバッチ同期

設定手順については、「データベース全体のバッチ同期タスクの設定」をご参照ください。

コードエディタを使用したバッチ同期タスクの設定

コードエディタを使用してバッチ同期タスクを設定する場合、統一されたスクリプトフォーマット要件に基づき、関連するパラメーターをスクリプト内に設定する必要があります。詳細については、「コードエディタの使用」をご参照ください。以下に、コードエディタを使用してバッチ同期タスクを設定する際に、データソースに対して設定する必要があるパラメーターについて説明します。

Reader スクリプトのサンプル

{
    "type": "job",
    "version": "2.0",
    "steps": [
        {
            "stepType": "clickhouse", // コネクタ名。
            "parameter": {
                "datasource": "example",
                "table": "source_table",  // ソーステーブル。
                "column": [           // 読み取る列。
                    "id",
                    "name"
                ],
                "where": "",          // フィルター条件。
                "splitPk": "",        // 並列読み取り用のシャードキー。
                "fetchSize": 1024     // 1 バッチあたりの取得レコード数。
            },
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "stream",
            "parameter": {},
            "name": "Writer",
            "category": "writer"
        }
    ],
    "setting": {
        "errorLimit": {
            "record": "0"  // 許容される不正データレコードの最大数。
        },
        "speed": {
            "throttle": true, // 速度制限を有効化するかどうかを指定。
            "concurrent": 1,  // ジョブの並行スレッド数。
            "mbps": "12"      // 最大転送レート（MB/s）。
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}

Reader スクリプトのパラメーター

Writer スクリプトのサンプル

{
    "type": "job",
    "version": "2.0", // スクリプトのバージョン。
    "steps": [
        {
            "stepType": "stream",
            "parameter": {},
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "clickhouse", // コネクタ名。
            "parameter": {
                "datasource": "example_ch_writer", // ターゲットデータソースの名前。
                "column": [ // ターゲット列。
                    "id",
                    "name"
                ],
                "table": "target_table", // ターゲットテーブル。
                "preSql": [ // タスク実行前に実行する SQL ステートメント。
                    "TRUNCATE TABLE IF EXISTS target_table"
                ],
                "postSql": [ // タスク実行後に実行する SQL ステートメント。
                    "OPTIMIZE TABLE target_table FINAL"
                ],
                "batchSize": 1024, // 1 バッチあたりの書き込みレコード数。
                "writeMode": "insert"
            },
            "name": "Writer",
            "category": "writer"
        }
    ],
    "setting": {
        "errorLimit": {
            "record": "0" // 許容される不正データレコードの最大数。
        },
        "speed": {
            "throttle": true, // 速度制限を有効化するかどうかを指定。
            "concurrent": 1,  // ジョブの並行スレッド数。
            "mbps": "12"      // 最大転送レート（MB/s）。
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}

Writer スクリプトのパラメーター