DataWorks:TiDB

TiDB バージョンの確認

データ統合では、TiDB バージョン 7.x または 8.x が必要です。ご利用の TiDB データベースがこのバージョン要件を満たしていることを確認してください。現在のバージョンを確認するには、TiDB データベースで次の文を実行します。

SELECT TIDB_VERSION()\G

*************************** 1. row ***************************
TIDB_VERSION(): Release Version: v8.1.1
Edition: Community
Git Commit Hash: 821e491a20fbab36604b36b647b5bae26a2c1418
Git Branch: HEAD
UTC Build Time: 2024-08-27 19:16:25
GoVersion: go1.21.10
Race Enabled: false
Check Table Before Drop: false
Store: tikv
1 row in set (0.00 sec)

アカウント権限の設定

DataWorks がデータソースにアクセスするための専用の TiDB アカウントを作成します。

1. (任意) アカウントの作成。詳細については、ユーザーアカウント管理をご参照ください。

2. 権限の設定。

   TiDB からのオフラインデータ読み取りには、このアカウントに同期したいテーブルに対する読み取り (SELECT) 権限が必要です。

   次のコマンドを実行してアカウントに権限を付与するか、直接 SUPER 権限を付与できます。次の文では、'sync_account' を作成したアカウントに置き換えてください。

   -- CREATE USER 'sync_account'@'%' IDENTIFIED BY 'password'; // 同期アカウントを作成し、パスワードを設定します。これにより、アカウントは任意のホストからデータベースにログインできます。パーセント記号 (%) は任意のホストを示します。
   GRANT SELECT ON *.* TO 'sync_account'@'%'; // データベースに対する SELECT 権限を同期アカウントに付与します。

   *.* は、すべてのデータベースのすべてのテーブルに対する指定された権限をアカウントに付与します。また、ターゲットデータベースの特定のテーブルに対する権限をアカウントに付与することもできます。たとえば、test データベースの user テーブルに対する権限をアカウントに付与するには、GRANT SELECT ON test.user TO 'sync_account'@'%'; 文を実行します。

   説明

   REPLICATION SLAVE 文はグローバル権限を付与します。この文を使用して、ターゲットデータベースの特定のテーブルに対する権限を同期アカウントに付与することはできません。

コードエディタを使用したバッチ同期タスクの設定

コードエディタを使用してバッチ同期タスクを設定する場合、統一されたスクリプトフォーマットの要件に基づいて、スクリプト内で関連するパラメーターを設定する必要があります。詳細については、「コードエディタでのタスクの設定」をご参照ください。以下では、コードエディタを使用してバッチ同期タスクを設定する際に、データソースに対して設定する必要があるパラメーターについて説明します。

Reader スクリプトのデモ

次のコードは、データを読み取るためのサンプルスクリプトです：

{
  "type": "job",
  "version": "2.0",
  "steps":
  [
    {
      "stepType": "tidb",
      "parameter":
      {
        "column":
        [
          "id",
          "name"
        ],
        "where": "",
        "splitPk": "id",
        "connection":
        [
          {
            "selectedDatabase": "test_database",
            "datasource": "test_datasource",
            "table":
            [
              "test_table"
            ]
          }
        ]
      },
      "name": "Reader",
      "category": "reader"
    },
    {
      "stepType": "odps",
      "parameter":
      {
      },
      "name": "Writer",
      "category": "writer"
    }
  ],
  "setting":
  {
    "errorLimit":
    {
      "record": "0"
    },
    "speed":
    {
      "throttle": false,
      "concurrent": 3
    }
  },
  "order":
  {
    "hops":
    [
      {
        "from": "Reader",
        "to": "Writer"
      }
    ]
  }
}

Reader スクリプトのパラメーター