DataWorks:Sumber data TiDB

Konfirmasi versi TiDB

Data Integration memerlukan TiDB 7.x atau 8.x. Pastikan versi TiDB Anda memenuhi persyaratan ini. Anda dapat menjalankan pernyataan berikut di database TiDB Anda untuk memeriksa versi saat ini.

SELECT TIDB_VERSION()\G

*************************** 1. row ***************************
TIDB_VERSION(): Release Version: v8.1.1
Edition: Community
Git Commit Hash: 821e491a20fbab36604b36b647b5bae26a2c1418
Git Branch: HEAD
UTC Build Time: 2024-08-27 19:16:25
GoVersion: go1.21.10
Race Enabled: false
Check Table Before Drop: false
Store: tikv
1 row in set (0.00 sec)

Konfigurasikan izin akun

Buat akun TiDB khusus untuk DataWorks mengakses sumber data dengan mengikuti langkah-langkah berikut:

1. (Opsional) Buat akun. Untuk informasi selengkapnya, lihat TiDB User Account Management.

2. Konfigurasikan izin.

   Untuk pembacaan data batch dari TiDB, akun tersebut harus memiliki izin baca (SELECT) pada tabel sumber.

   Anda dapat menjalankan perintah berikut untuk memberikan izin kepada akun, atau langsung memberikan izin SUPER. Saat menjalankan pernyataan tersebut, ganti 'sync_account' dengan nama akun Anda.

   -- CREATE USER 'sync_account'@'%' IDENTIFIED BY 'password'; // Membuat akun sinkronisasi dan menetapkan password. Akun ini dapat login dari host mana pun. '%' menunjukkan host apa pun.
   GRANT SELECT ON *.* TO 'sync_account'@'%'; // Memberikan izin SELECT pada semua database ke akun sinkronisasi.

   Sintaksis *.* memberikan izin yang ditentukan pada semua tabel di semua database. Anda juga dapat memberikan izin hanya pada tabel tertentu di database target. Misalnya, untuk memberikan izin SELECT pada tabel user di database test, jalankan pernyataan berikut: GRANT SELECT ON test.user TO 'sync_account'@'%';.

   Catatan

   Pernyataan REPLICATION SLAVE memberikan izin global dan tidak dapat diberikan pada tabel tertentu di suatu database.

Konfigurasikan tugas sinkronisasi batch menggunakan editor kode

Jika Anda ingin mengonfigurasi tugas sinkronisasi batch menggunakan editor kode, Anda harus mengonfigurasi parameter terkait dalam skrip berdasarkan persyaratan format skrip terpadu. Untuk informasi selengkapnya, lihat Script mode configuration. Informasi berikut menjelaskan parameter yang harus Anda konfigurasi untuk sumber data saat mengonfigurasi tugas sinkronisasi batch menggunakan editor kode.

Contoh skrip Reader

Kode berikut menyediakan contoh konfigurasi untuk reader:

{
  "type": "job",
  "version": "2.0",
  "steps":
  [
    {
      "stepType": "tidb",
      "parameter":
      {
        "column":
        [
          "id",
          "name"
        ],
        "where": "",
        "splitPk": "id",
        "connection":
        [
          {
            "selectedDatabase": "test_database",
            "datasource": "test_datasource",
            "table":
            [
              "test_table"
            ]
          }
        ]
      },
      "name": "Reader",
      "category": "reader"
    },
    {
      "stepType": "odps",
      "parameter":
      {
      },
      "name": "Writer",
      "category": "writer"
    }
  ],
  "setting":
  {
    "errorLimit":
    {
      "record": "0"
    },
    "speed":
    {
      "throttle": false,
      "concurrent": 3
    }
  },
  "order":
  {
    "hops":
    [
      {
        "from": "Reader",
        "to": "Writer"
      }
    ]
  }
}

Parameter skrip Reader