DataWorks:TiDB データソース

準備 1：TiDB データベースのバージョンを確認する

Data Integration では、TiDB データベースのバージョンが 7.x または 8.x である必要があります。 データを同期する TiDB データベースのバージョンが要件を満たしているかどうかを確認する必要があります。次のステートメントを実行して、TiDB データベースのバージョンを確認できます。

SELECT TIDB_VERSION()\G

/*
1 行目 ***************************
TIDB_VERSION(): リリースバージョン: v8.1.1
エディション: Community
Git コミットハッシュ: 821e491a20fbab36604b36b647b5bae26a2c1418
Git ブランチ: HEAD
UTC ビルド時間: 2024-08-27 19:16:25
GoVersion: go1.21.10
Race Enabled: false
Check Table Before Drop: false
Store: tikv
1 row in set (0.00 sec)
*/

準備 2：必要な権限を持つアカウントを準備する

DataWorks が TiDB データベースにアクセスするためのアカウントを計画および作成することをお勧めします。このようなアカウントを準備するには、次の手順を実行します。

1. オプション。アカウントを作成します。詳細については、TiDB User Account Management を参照してください。

2. アカウントに必要な権限を付与します。

   バッチデータ読み取り：アカウントには SELECT 権限が必要です。

   次のステートメントを実行して、アカウントに権限を付与できます。または、アカウントに SUPER 権限を付与することもできます。ステートメントの データ同期用アカウント を、作成したアカウントに置き換えます。

   -- CREATE USER 'データ同期用アカウント'@'%' IDENTIFIED BY 'パスワード'; //データ同期に使用できるアカウントを作成し、パスワードを指定します。このようにして、任意のホストからアカウントとパスワードを使用してデータベースにアクセスできます。 % はホストを示します。
   GRANT SELECT ON *.* TO 'データ同期用アカウント'@'%'; // アカウントに SELECT 権限を付与します。

   *.* は、すべてのデータベースのすべてのテーブルに対する上記の権限がアカウントに付与されていることを示します。データベース内の特定のテーブルに対する上記の権限をアカウントに付与することもできます。たとえば、test データベースの user テーブルに対する上記の権限をアカウントに付与するには、次のステートメントを実行します：GRANT SELECT ON test.user TO 'データ同期用アカウント'@'%';。

   説明

   REPLICATION SLAVE 権限はグローバル権限です。データベース内の特定のテーブルに対するこの権限をアカウントに付与することはできません。

コードエディタを使用してバッチ同期タスクを構成する

コードエディタを使用してバッチ同期タスクを構成する場合は、統一スクリプト形式の要件に基づいて、スクリプトに関連パラメータを構成する必要があります。詳細については、コードエディタを使用してバッチ同期タスクを構成する を参照してください。以下の情報は、コードエディタを使用してバッチ同期タスクを構成する際に、データソースに対して構成する必要のあるパラメータについて説明しています。

TiDB Reader のコード

次のコードは、TiDB データソースからデータを読み取る同期タスクを構成する方法の例を示しています。

{
  "type": "job",
  "version": "2.0",
  "steps":
  [
    {
      "stepType": "tidb",
      "parameter":
      {
        "column":
        [
          "id",
          "name"
        ],
        "where": "",
        "splitPk": "id",
        "connection":
        [
          {
            "selectedDatabase": "test_database",
            "datasource": "test_datasource",
            "table":
            [
              "test_table"
            ]
          }
        ]
      },
      "name": "Reader", // リーダーの名前
      "category": "reader"
    },
    {
      "stepType": "odps",
      "parameter":
      {
      },
      "name": "Writer", // ライターの名前
      "category": "writer"
    }
  ],
  "setting":
  {
    "errorLimit":
    {
      "record": "0"
    },
    "speed":
    {
      "throttle": false,
      "concurrent": 3
    }
  },
  "order":
  {
    "hops":
    [
      {
        "from": "Reader",
        "to": "Writer"
      }
    ]
  }
}

TiDB Reader のコードのパラメータ