DataWorks:DRDS (PolarDB-X 1.0)

Baca dan tulis offline

• Plugin DRDS (PolarDB-X 1.0) hanya kompatibel dengan engine MySQL. DRDS (PolarDB-X 1.0) merupakan database MySQL terdistribusi, dan sebagian besar protokol komunikasinya mengikuti standar MySQL.

• MySQL 8.0 dalam DRDS (PolarDB-X 1.0) mendukung Serverless resource groups (direkomendasikan) dan exclusive resource groups for Data Integration.

• Secara internal, DRDS (PolarDB-X 1.0) Writer terhubung ke proxy database DRDS (PolarDB-X 1.0) remote melalui Java Database Connectivity (JDBC) dan menjalankan pernyataan replace into untuk menulis data ke DRDS (PolarDB-X 1.0).

  Karena pernyataan SQL yang dieksekusi adalah replace into, tabel Anda harus memiliki primary key atau unique index untuk mencegah penulisan data duplikat.

• DRDS (PolarDB-X 1.0) Writer mengambil data dari Reader melalui framework sinkronisasi data, lalu menulisnya ke DRDS (PolarDB-X 1.0) menggunakan pernyataan replace into. Jika tidak terjadi konflik pada primary key atau unique index, perilakunya sama seperti insert into. Jika terjadi konflik, baris baru akan menggantikan seluruh bidang pada baris yang sudah ada. DRDS (PolarDB-X 1.0) Writer mengumpulkan data dan melakukan commit ke proxy DRDS (PolarDB-X 1.0), yang kemudian menentukan apakah data akan ditulis ke satu atau beberapa tabel serta bagaimana merutekan data saat menulis ke beberapa tabel.

  Catatan

  Tugas memerlukan setidaknya izin replace into. Apakah izin tambahan diperlukan bergantung pada pernyataan yang Anda tentukan di preSql dan postSql saat mengonfigurasi tugas.

• Pembacaan dari view didukung.

Konfigurasikan tugas sinkronisasi offline untuk satu tabel

• Untuk informasi lebih lanjut, lihat Configure a task in the codeless UI dan Configure a task in the code editor.

• Untuk daftar semua parameter dan contoh skrip untuk editor kode, lihat Appendix: Script demo and parameters.

Konfigurasikan tugas sinkronisasi offline untuk seluruh database

Untuk informasi lebih lanjut, lihat Configure an offline sync task for an entire database.

Konfigurasikan tugas sinkronisasi batch menggunakan editor kode

Jika ingin mengonfigurasi tugas sinkronisasi batch menggunakan editor kode, Anda harus mengonfigurasi parameter terkait dalam skrip berdasarkan persyaratan format skrip terpadu. Untuk informasi lebih lanjut, lihat Configure a task in the code editor. Informasi berikut menjelaskan parameter yang harus Anda konfigurasi untuk sumber data saat mengonfigurasi tugas sinkronisasi batch menggunakan editor kode.

Contoh skrip Reader

{
    "type":"job",
    "version":"2.0",// Nomor versi
    "steps":[
        {
            "stepType":"drds",// Nama plugin
            "parameter":{
                "datasource":"",// Nama sumber data
                "column":[// Nama kolom
                    "id",
                    "name"
                ],
                "where":"",// Kondisi filter
                "table":"",// Nama tabel
                "splitPk": ""// Kunci shard
            },
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"stream",// Nama plugin
            "parameter":{},
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"// Jumlah catatan error
        },
        "speed":{
            "throttle":true,// Jika throttle diatur ke false, parameter mbps tidak berlaku, artinya laju data tidak dibatasi. Jika throttle diatur ke true, laju data dibatasi.
            "concurrent":1,// Konkurensi
            "mbps":"12"// Laju data maksimum. 1 mbps = 1 MB/s.
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Parameter skrip Reader

Contoh skrip Writer

{
    "type":"job",
    "version":"2.0",// Nomor versi.
    "steps":[
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Reader",
            "category":"reader"
                },
        {
            "stepType":"drds",// Nama plugin.
            "parameter":{
                "postSql":[],// Pernyataan SQL yang dijalankan setelah tugas sinkronisasi data.
                "datasource":"",// Sumber data.
                "column":[// Nama kolom.
                "id"
                ],
                "writeMode":"insert ignore",
                "batchSize":"1024",// Jumlah catatan yang dikomit dalam satu batch.
                "table":"test",// Nama tabel.
                "preSql":[]// Pernyataan SQL yang dijalankan sebelum tugas sinkronisasi data.
                },
            "name":"Writer",
            "category":"writer"
                }
                ],
    "setting":{
        "errorLimit":{
        "record":"0"// Jumlah catatan error.
            },
        "speed":{
            "throttle":true,// Jika throttle diatur ke false, parameter mbps tidak berlaku, artinya laju data tidak dibatasi. Jika throttle diatur ke true, laju data dibatasi.
            "concurrent":1, // Jumlah tugas konkuren.
            "mbps":"12"// Laju data maksimum. 1 mbps = 1 MB/s.
                }
            },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
                }
            ]
        }
    }

Parameter skrip Writer