DataWorks:PolarDB-X 2.0

PolarDB-X バージョンの確認

PolarDB-X 1.0 の場合は、DRDS データソースを使用します。PolarDB-X 2.0 の場合は、このデータソースを使用します。

アカウント権限の構成

DataWorks がデータソースにアクセスできるように、DataWorks 専用の PolarDB-X 2.0 アカウントを作成します。次の手順に従ってください。

1. (オプション) PolarDB-X 2.0 コンソールに移動して、アカウントを作成します。すでにアカウントをお持ちの場合は、このステップをスキップします。

2. 権限を構成します。

   • オフライン同期シナリオの場合:

     • オフラインタスクで PolarDB-X 2.0 からデータを読み取るには、アカウントがソーステーブルに対する読み取り (SELECT) 権限を持っている必要があります。

     • オフラインタスクで PolarDB-X 2.0 にデータを書き込むには、アカウントが宛先テーブルに対する書き込み (INSERT, DELETE, UPDATE) 権限を持っている必要があります。

   • リアルタイム同期シナリオ (全データベース) の場合:

     • 特権アカウント: デフォルトでは、特権アカウントはリアルタイム同期のためにバイナリログ (binlog) データを読み取ることができます。

     • 標準アカウント: 特権アカウントを使用して、指定されたデータベースに対する SELECT、REPLICATION SLAVE、および REPLICATION CLIENT 権限を標準アカウントに付与します。

-- 同期アカウントを作成し、パスワードを設定します。これにより、アカウントは任意のホストからデータベースにログインできます。パーセント記号 (%) は任意のホストを表します。
-- CREATE USER 'sync_account'@'%' IDENTIFIED BY 'password';
-- データベースに対する SELECT、REPLICATION SLAVE、および REPLICATION CLIENT 権限を同期アカウントに付与します。
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'sync_account'@'%'; 

単一テーブルのオフライン同期タスク構成ガイド

• 手順については、「コードエディタでオフライン同期タスクを構成する」をご参照ください。

• コードエディタのすべてのパラメーターとスクリプト例については、「付録: スクリプトデモとパラメーターの説明」をご参照ください。

コードエディタを使用したバッチ同期タスクの構成

コードエディタを使用してバッチ同期タスクを構成する場合は、統一されたスクリプト形式要件に基づいて、スクリプト内の関連パラメーターを構成する必要があります。詳細については、「コードエディタでタスクを構成する」をご参照ください。以下に、コードエディタを使用してバッチ同期タスクを構成する際にデータソースに対して構成する必要があるパラメーターについて説明します。

リーダースクリプトデモ

{
    "type":"job",
    "version":"2.0",// バージョン番号。
    "steps":[
        {
            "stepType":"polardbx20",// プラグイン名。
            "parameter":{
               "connection": [
                  {
                      "datasource":"",
                      "table": [
                          "t1"
                      ]
                  }
              ],
              "column": [
                  "c1",
                  "c2",
                  "'const'"
              ],
              "where": "",
              "splitPk": "",
              "checkSlave": "true",
              "slaveDelayLimit": "300"
            },
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"// エラーレコード数。
        },
        "speed":{
            "throttle":true,// throttle が false に設定されている場合、mbps パラメーターは有効にならず、レート制限は適用されません。throttle が true に設定されている場合、レート制限が適用されます。
            "concurrent":1,// 同時ジョブ数。
            "mbps":"12"// レート制限。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

リーダースクリプトパラメーター

ライタースクリプトデモ

{
    "type":"job",
    "version":"2.0",// バージョン番号。
    "steps":[ 
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"PolarDB-X 2.0",// プラグイン名。
            "parameter":{
                "postSql":[],// データインポート後に実行される SQL 文。
                "datasource":"",// データソース。
                "column":[// カラム名。
                    "id",
                    "value"
                ],
                "writeMode":"insert",// 書き込みモード。insert または replace に設定できます。
                "batchSize":1024,// 単一バッチで送信されるレコード数。
                "table":"",// テーブル名。
                "preSql":[ 
                     "delete from XXX;" // データインポート前に実行される SQL 文。
                   ]
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{// エラーレコード数。
            "record":"0"
        },
        "speed":{
            "throttle":true,// throttle が false に設定されている場合、mbps パラメーターは有効にならず、レート制限は適用されません。throttle が true に設定されている場合、レート制限が適用されます。
            "concurrent":1, // 同時ジョブ数。
            "mbps":"12"// レート制限。これは、アップストリームまたはダウンストリームデータベースへの過度な読み取り/書き込み負荷を防ぐために、最大同期レートを制御します。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

ライタースクリプトパラメーター

-- tablename はテーブル名です
truncate table tablename;

-- tablename はテーブル名、colname はカラム名です
alter table tablename 
add colname timestamp DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP;