DataWorks：Sumber data TiDB

Persiapan 1: Periksa versi basis data TiDB Anda

Data Integration mengharuskan versi basis data TiDB adalah 7.x atau 8.x. Pastikan versi basis data TiDB tempat Anda ingin menyinkronkan data memenuhi persyaratan. Anda dapat menjalankan pernyataan berikut untuk memeriksa versi basis data TiDB:

SELECT TIDB_VERSION()\G

*************************** 1. row ***************************
TIDB_VERSION(): Release Version: v8.1.1
Edition: Community
Git Commit Hash: 821e491a20fbab36604b36b647b5bae26a2c1418
Git Branch: HEAD
UTC Build Time: 2024-08-27 19:16:25
GoVersion: go1.21.10
Race Enabled: false
Check Table Before Drop: false
Store: tikv
1 row in set (0.00 sec)

Persiapan 2: Siapkan akun yang memiliki izin yang diperlukan

Kami merekomendasikan agar Anda merencanakan dan membuat akun untuk DataWorks mengakses basis data TiDB Anda. Untuk menyiapkan akun tersebut, ikuti langkah-langkah berikut:

1. Opsional. Buat akun. Untuk informasi lebih lanjut, lihat Manajemen Akun Pengguna TiDB.

2. Berikan izin yang diperlukan ke akun.

   Baca data batch: Akun harus memiliki izin SELECT.

   Anda dapat menjalankan pernyataan berikut untuk memberikan izin ke akun. Atau, Anda dapat memberikan izin SUPER ke akun. Ganti Akun untuk sinkronisasi data dalam pernyataan dengan akun yang dibuat.

   -- CREATE USER 'Akun untuk sinkronisasi data'@'%' IDENTIFIED BY 'Password'; //Buat akun yang dapat digunakan untuk sinkronisasi data dan tentukan kata sandi. Dengan cara ini, Anda dapat menggunakan akun dan kata sandi untuk mengakses basis data dari host mana pun. % menunjukkan host.
   GRANT SELECT ON *.* TO 'Akun untuk sinkronisasi data'@'%'; // Berikan izin SELECT ke akun.

   *.* menunjukkan bahwa akun diberikan izin pada semua tabel di semua basis data. Anda juga dapat memberikan izin pada tabel tertentu di basis data ke akun. Misalnya, untuk memberikan akun izin pada tabel pengguna di basis data uji, jalankan pernyataan berikut: GRANT SELECT ON test.user TO 'Akun untuk sinkronisasi data'@'%';.

   Catatan

   Izin REPLICATION SLAVE bersifat global. Anda tidak dapat memberikan izin ini pada tabel tertentu di basis data ke akun.

Konfigurasikan tugas sinkronisasi batch menggunakan editor kode

Jika ingin mengonfigurasi tugas sinkronisasi batch menggunakan editor kode, Anda harus mengonfigurasi parameter terkait dalam skrip sesuai dengan format skrip seragam. Untuk informasi lebih lanjut, lihat Konfigurasikan tugas sinkronisasi batch menggunakan editor kode. Informasi berikut menjelaskan parameter yang harus dikonfigurasi untuk sumber data saat mengonfigurasi tugas sinkronisasi batch menggunakan editor kode.

Kode untuk TiDB Reader

Kode berikut memberikan contoh konfigurasi tugas sinkronisasi untuk membaca data dari sumber data TiDB.

{
  "type": "job",
  "version": "2.0",
  "steps":
  [
    {
      "stepType": "tidb",
      "parameter":
      {
        "column":
        [
          "id",
          "name"
        ],
        "where": "",
        "splitPk": "id",
        "connection":
        [
          {
            "selectedDatabase": "test_database",
            "datasource": "test_datasource",
            "table":
            [
              "test_table"
            ]
          }
        ]
      },
      "name": "Reader",
      "category": "reader"
    },
    {
      "stepType": "odps",
      "parameter":
      {
      },
      "name": "Writer",
      "category": "writer"
    }
  ],
  "setting":
  {
    "errorLimit":
    {
      "record": "0"
    },
    "speed":
    {
      "throttle": false,
      "concurrent": 3
    }
  },
  "order":
  {
    "hops":
    [
      {
        "from": "Reader",
        "to": "Writer"
      }
    ]
  }
}

Parameter dalam kode untuk TiDB Reader