DataWorks:TiDB

Konfirmasi versi TiDB

Data Integration memerlukan versi TiDB 7.x atau 8.x. Pastikan database TiDB Anda memenuhi persyaratan versi ini. Untuk memeriksa versi saat ini, jalankan pernyataan berikut di database TiDB Anda.

SELECT TIDB_VERSION()\G

*************************** 1. row ***************************
TIDB_VERSION(): Release Version: v8.1.1
Edition: Community
Git Commit Hash: 821e491a20fbab36604b36b647b5bae26a2c1418
Git Branch: HEAD
UTC Build Time: 2024-08-27 19:16:25
GoVersion: go1.21.10
Race Enabled: false
Check Table Before Drop: false
Store: tikv
1 row in set (0.00 sec)

Konfigurasikan izin akun

Buat akun TiDB khusus untuk DataWorks agar dapat mengakses sumber data tersebut.

1. (Opsional) Buat akun. Untuk informasi selengkapnya, lihat User Account Management.

2. Konfigurasikan izin.

   Untuk pembacaan data offline dari TiDB, akun ini harus memiliki izin baca (SELECT) pada tabel-tabel yang ingin Anda sinkronkan.

   Anda dapat menjalankan perintah berikut untuk memberikan izin kepada akun tersebut atau langsung memberikan izin SUPER. Pada pernyataan berikut, ganti 'sync_account' dengan akun yang telah Anda buat.

   -- CREATE USER 'sync_account'@'%' IDENTIFIED BY 'password'; // Buat akun sinkronisasi dan tetapkan password. Ini memungkinkan akun login ke database dari host mana pun. Tanda persen (%) menunjukkan host apa pun.
   GRANT SELECT ON *.* TO 'sync_account'@'%'; // Berikan izin SELECT pada database kepada akun sinkronisasi.

   *.* memberikan izin tertentu kepada akun tersebut pada semua tabel di seluruh database. Anda juga dapat memberikan izin hanya pada tabel tertentu di database target. Misalnya, untuk memberikan izin pada tabel user di database test, jalankan pernyataan berikut: GRANT SELECT ON test.user TO 'sync_account'@'%';.

   Catatan

   Pernyataan REPLICATION SLAVE memberikan izin global. Anda tidak dapat menggunakan pernyataan ini untuk memberikan izin pada tabel tertentu di database target kepada akun sinkronisasi.

Konfigurasikan tugas sinkronisasi batch menggunakan editor kode

Jika Anda ingin mengonfigurasi tugas sinkronisasi batch menggunakan editor kode, konfigurasikan parameter terkait dalam skrip sesuai dengan format skrip terpadu. Untuk informasi selengkapnya, lihat Configure a task in the code editor. Informasi berikut menjelaskan parameter yang harus Anda konfigurasi untuk sumber data saat mengonfigurasi tugas sinkronisasi batch menggunakan editor kode.

Contoh skrip Reader

Kode berikut menyediakan contoh skrip untuk membaca data:

{
  "type": "job",
  "version": "2.0",
  "steps":
  [
    {
      "stepType": "tidb",
      "parameter":
      {
        "column":
        [
          "id",
          "name"
        ],
        "where": "",
        "splitPk": "id",
        "connection":
        [
          {
            "selectedDatabase": "test_database",
            "datasource": "test_datasource",
            "table":
            [
              "test_table"
            ]
          }
        ]
      },
      "name": "Reader",
      "category": "reader"
    },
    {
      "stepType": "odps",
      "parameter":
      {
      },
      "name": "Writer",
      "category": "writer"
    }
  ],
  "setting":
  {
    "errorLimit":
    {
      "record": "0"
    },
    "speed":
    {
      "throttle": false,
      "concurrent": 3
    }
  },
  "order":
  {
    "hops":
    [
      {
        "from": "Reader",
        "to": "Writer"
      }
    ]
  }
}

Parameter skrip Reader