DataWorks:DRDS (PolarDB-X 1.0)

オフライン読み書き

• DRDS (PolarDB-X 1.0) プラグインは、MySQL エンジンとのみ互換性があります。DRDS (PolarDB-X 1.0) は分散 MySQL データベースであり、その通信プロトコルのほとんどは MySQL の標準に準拠しています。

• DRDS (PolarDB-X 1.0) の MySQL 8.0 は、Serverless リソースグループ (推奨) および データ統合専用リソースグループ をサポートしています。

• 内部的に、DRDS (PolarDB-X 1.0) Writer は Java Database Connectivity (JDBC) を介してリモートの DRDS (PolarDB-X 1.0) データベースのプロキシに接続し、replace into 文を実行して DRDS (PolarDB-X 1.0) にデータを書き込みます。

  実行される SQL 文は replace into であるため、重複したデータの書き込みを防ぐには、テーブルにプライマリキーまたは一意なインデックスが必要です。

• DRDS (PolarDB-X 1.0) Writer は、データ同期フレームワークを介して Reader からプロトコルデータを取得します。その後、replace into 文を使用して DRDS (PolarDB-X 1.0) にデータを書き込みます。プライマリキーまたは一意なインデックスの競合が発生しない場合、その動作は insert into と同じです。競合が発生した場合、新しい行は既存の行のすべてのフィールドを置き換えます。DRDS (PolarDB-X 1.0) Writer はデータを蓄積し、DRDS (PolarDB-X 1.0) プロキシにコミットします。その後、プロキシはデータを 1 つ以上のテーブルに書き込むかどうか、および複数のテーブルに書き込む際のデータのルーティング方法を決定します。

  説明

  タスクには、少なくとも replace into 権限が必要です。他の権限が必要かどうかは、タスクを設定する際に preSql および postSql で指定する文によって異なります。

• ビューからの読み取りがサポートされています。

単一テーブルのオフライン同期タスクの設定

• 詳細については、「コードレス UI でのタスク設定」および「コードエディタでのタスク設定」をご参照ください。

• コードエディタのすべてのパラメーターとスクリプト例のリストについては、「付録：スクリプトのデモとパラメーター」をご参照ください。

データベース全体のオフライン同期タスクの設定

詳細については、「データベース全体のオフライン同期タスクの設定」をご参照ください。

コードエディタを使用したバッチ同期タスクの設定

コードエディタを使用してバッチ同期タスクを設定する場合、統一されたスクリプトフォーマットの要件に基づいて、スクリプト内の関連パラメーターを設定する必要があります。詳細については、「コードエディタでのタスク設定」をご参照ください。以下では、コードエディタを使用してバッチ同期タスクを設定する際に、データソースに対して設定する必要があるパラメーターについて説明します。

Reader スクリプトのデモ

{
    "type":"job",
    "version":"2.0",// バージョン番号
    "steps":[
        {
            "stepType":"drds",// プラグイン名
            "parameter":{
                "datasource":"",// データソース名
                "column":[// 列名
                    "id",
                    "name"
                ],
                "where":"",// フィルター条件
                "table":"",// テーブル名
                "splitPk": ""// シャードキー
            },
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"stream",// プラグイン名
            "parameter":{},
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"// エラーレコード数
        },
        "speed":{
            "throttle":true,// throttle が false の場合、mbps パラメーターは有効にならず、データレートは制限されません。throttle が true の場合、データレートは制限されます。
            "concurrent":1,// 同時実行数
            "mbps":"12"// 最大データレート。1 mbps = 1 MB/s。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Reader スクリプトのパラメーター

Writer スクリプトのデモ

{
    "type":"job",
    "version":"2.0",// バージョン番号。
    "steps":[
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Reader",
            "category":"reader"
                },
        {
            "stepType":"drds",// プラグイン名。
            "parameter":{
                "postSql":[],// データ同期タスクの後に実行する SQL 文。
                "datasource":"",// データソース。
                "column":[// 列名。
                "id"
                ],
                "writeMode":"insert ignore",
                "batchSize":"1024",// 1 回のバッチでコミットするレコード数。
                "table":"test",// テーブル名。
                "preSql":[]// データ同期タスクの前に実行する SQL 文。
                },
            "name":"Writer",
            "category":"writer"
                }
                ],
    "setting":{
        "errorLimit":{
        "record":"0"// エラーレコード数。
            },
        "speed":{
            "throttle":true,// throttle が false の場合、mbps パラメーターは有効にならず、データレートは制限されません。throttle が true の場合、データレートは制限されます。
            "concurrent":1, // 同時実行タスクの数。
            "mbps":"12"// 最大データレート。1 mbps = 1 MB/s。
                }
            },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
                }
            ]
        }
    }

Writer スクリプトのパラメーター