DataWorks:PolarDB-X 2.0

Konfirmasi versi PolarDB-X

Untuk PolarDB-X 1.0, gunakan sumber data DRDS. Untuk PolarDB-X 2.0, gunakan sumber data ini.

Konfigurasi izin akun

Buat akun PolarDB-X 2.0 khusus agar DataWorks dapat mengakses sumber data tersebut. Ikuti langkah-langkah berikut:

1. (Opsional) Buka Konsol PolarDB-X 2.0 untuk membuat akun. Jika Anda sudah memiliki akun, lewati langkah ini.

2. Konfigurasi izin.

   • Untuk skenario sinkronisasi offline:

     • Untuk membaca data dari PolarDB-X 2.0 dalam tugas offline, akun harus memiliki izin baca (SELECT) pada tabel sumber.

     • Untuk menulis data ke PolarDB-X 2.0 dalam tugas offline, akun harus memiliki izin tulis (INSERT, DELETE, UPDATE) pada tabel tujuan.

   • Untuk skenario sinkronisasi real-time (seluruh database):

     • Akun istimewa: Secara default, akun istimewa dapat membaca data binary logging (binlog) untuk sinkronisasi real-time.

     • Akun standar: Gunakan akun istimewa untuk memberikan izin SELECT, REPLICATION SLAVE, dan REPLICATION CLIENT pada database tertentu kepada akun standar.

-- Buat akun sinkronisasi dan atur password. Ini memungkinkan akun login ke database dari host mana pun. Tanda persen (%) merepresentasikan host apa pun.
-- CREATE USER 'sync_account'@'%' IDENTIFIED BY 'password';
-- Berikan izin SELECT, REPLICATION SLAVE, dan REPLICATION CLIENT pada database kepada akun sinkronisasi.
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'sync_account'@'%'; 

Panduan konfigurasi tugas sinkronisasi offline untuk satu tabel

• Untuk petunjuknya, lihat Konfigurasi tugas sinkronisasi offline di editor kode.

• Untuk semua parameter dan contoh skrip editor kode, lihat Lampiran: Demo skrip dan deskripsi parameter.

Konfigurasi tugas sinkronisasi batch menggunakan editor kode

Jika Anda ingin mengonfigurasi tugas sinkronisasi batch menggunakan editor kode, Anda harus mengonfigurasi parameter terkait dalam skrip berdasarkan persyaratan format skrip terpadu. Untuk informasi lebih lanjut, lihat Konfigurasi tugas di editor kode. Informasi berikut menjelaskan parameter yang harus Anda konfigurasi untuk sumber data saat mengonfigurasi tugas sinkronisasi batch menggunakan editor kode.

Demo skrip Reader

{
    "type":"job",
    "version":"2.0",// Nomor versi.
    "steps":[
        {
            "stepType":"polardbx20",// Nama plugin.
            "parameter":{
               "connection": [
                  {
                      "datasource":"",
                      "table": [
                          "t1"
                      ]
                  }
              ],
              "column": [
                  "c1",
                  "c2",
                  "'const'"
              ],
              "where": "",
              "splitPk": "",
              "checkSlave": "true",
              "slaveDelayLimit": "300"
            },
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"// Jumlah catatan error.
        },
        "speed":{
            "throttle":true,// Jika throttle diatur ke false, parameter mbps tidak berlaku, dan tidak ada batasan laju. Jika throttle diatur ke true, batasan laju diterapkan.
            "concurrent":1,// Jumlah tugas konkuren.
            "mbps":"12"// Batasan laju.
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Parameter skrip Reader

Demo skrip Writer

{
    "type":"job",
    "version":"2.0",// Nomor versi.
    "steps":[ 
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"PolarDB-X 2.0",// Nama plugin.
            "parameter":{
                "postSql":[],// Pernyataan SQL yang dieksekusi setelah data diimpor.
                "datasource":"",// Sumber data.
                "column":[// Nama kolom.
                    "id",
                    "value"
                ],
                "writeMode":"insert",// Mode penulisan. Anda dapat mengatur ini ke insert atau replace.
                "batchSize":1024,// Jumlah catatan yang dikirimkan dalam satu batch.
                "table":"",// Nama tabel.
                "preSql":[ 
                     "delete from XXX;" // Pernyataan SQL yang dieksekusi sebelum data diimpor.
                   ]
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{// Jumlah catatan error.
            "record":"0"
        },
        "speed":{
            "throttle":true,// Jika throttle diatur ke false, parameter mbps tidak berlaku, dan tidak ada batasan laju. Jika throttle diatur ke true, batasan laju diterapkan.
            "concurrent":1, // Jumlah tugas konkuren.
            "mbps":"12"// Batasan laju. Ini mengontrol laju sinkronisasi maksimum untuk mencegah tekanan baca/tulis berlebihan pada database hulu atau hilir.
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Parameter skrip Writer

-- tablename adalah nama tabel
truncate table tablename;

-- tablename adalah nama tabel, dan colname adalah nama kolom
alter table tablename 
add colname timestamp DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP;