DataWorks:ApsaraDB for OceanBase

Pembacaan batch

• ApsaraDB for OceanBase menyediakan dua mode tenant: Oracle dan MySQL. Saat Anda mengonfigurasi klausa where atau kolom fungsi pada parameter column, sintaks Anda harus kompatibel dengan mode tenant instans tersebut. Jika tidak, pernyataan SQL mungkin gagal.

• Anda dapat membaca data dari sebuah view.

• Untuk mencegah masalah kualitas data seperti duplikasi atau kehilangan data, jangan memodifikasi data selama tugas sinkronisasi batch sedang berjalan.

• Jika Anda mengonfigurasi sumber data untuk read data by partition, akun yang digunakan untuk mengakses sumber data harus memiliki izin system.

Penulisan batch

• Kami menyarankan Anda menggunakan metode batch untuk menulis data. Metode ini hanya menginisiasi permintaan penulisan setelah jumlah baris tertentu terkumpul.

• ApsaraDB for OceanBase menyediakan dua mode tenant: Oracle dan MySQL. Saat Anda mengonfigurasi parameter preSql dan postSql, sintaksnya harus kompatibel dengan mode tenant instans Anda. Jika tidak, pernyataan SQL mungkin gagal dieksekusi.

Pembacaan real-time

• Hanya mode tenant MySQL dari ApsaraDB for OceanBase yang didukung.

• Untuk menyinkronkan data secara real-time, Anda harus mengaktifkan fitur Binlog. Untuk informasi selengkapnya, lihat Operasi terkait Binlog (instans Alibaba Cloud) dan Operasi terkait Binlog (instans OceanBase Cloud).

• Untuk sinkronisasi real-time seluruh database, sumber data yang menggunakan string koneksi tidak didukung.

• Untuk sinkronisasi real-time seluruh database, instans ApsaraDB for OceanBase harus menggunakan versi V3.0 atau yang lebih baru.

• ApsaraDB for OceanBase adalah database relasional terdistribusi yang dapat mengonsolidasikan data dari beberapa database fisik yang tersebar menjadi satu database logis tunggal. Namun, saat Anda menyinkronkan data secara real-time dari ApsaraDB for OceanBase ke AnalyticDB for MySQL, Anda hanya dapat menyinkronkan data dari satu database fisik. Anda tidak dapat menyinkronkan data dari database logis.

Konfigurasi daftar putih

Tambahkan blok CIDR dari resource group arsitektur tanpa server atau grup sumber daya eksklusif untuk Integrasi Data ke daftar putih instans ApsaraDB for OceanBase Anda. Untuk informasi selengkapnya, lihat Konfigurasi daftar putih alamat IP.

Buat akun dan berikan izin

Buat akun database untuk sinkronisasi data. Akun ini harus memiliki izin operasional yang diperlukan pada instans ApsaraDB for OceanBase. Untuk informasi selengkapnya, lihat Buat akun.

Sinkronisasi batch untuk satu tabel

• Sumber data yang didukung: Semua jenis sumber data yang didukung oleh Data Integration.

• Panduan konfigurasi: Konfigurasi tugas di antarmuka tanpa kode

Sinkronisasi real-time untuk satu tabel

• Sumber data yang didukung: Kafka

• Panduan konfigurasi: Konfigurasi tugas sinkronisasi real-time seluruh database

Sinkronisasi real-time untuk seluruh database

• Sumber data yang didukung: MySQL

• Panduan konfigurasi: Konfigurasi tugas sinkronisasi real-time seluruh database

Konfigurasi tugas sinkronisasi batch menggunakan editor kode

Jika Anda ingin mengonfigurasi tugas sinkronisasi batch menggunakan editor kode, Anda harus mengonfigurasi parameter terkait dalam skrip berdasarkan persyaratan format skrip terpadu. Untuk informasi selengkapnya, lihat Gunakan editor kode. Informasi berikut menjelaskan parameter yang harus Anda konfigurasi untuk sumber data saat mengonfigurasi tugas sinkronisasi batch menggunakan editor kode.

Contoh skrip Reader

{
    "type": "job",
    "steps": [
        {
            "stepType": "apsaradb_for_OceanBase", // Nama plugin.
            "parameter": {
                "datasource": "", // Nama sumber data.
                "where": "",
                "column": [ // Kolom.
                    "id",
                    "name"
                ],
                "splitPk": ""
            },
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "stream",
            "parameter": {
                "print": false,
                "fieldDelimiter": ","
            },
            "name": "Writer",
            "category": "writer"
        }
    ],
    "version": "2.0",
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    },
    "setting": {
        "errorLimit": {
            "record": "0" // Jumlah catatan error yang diizinkan.
        },
        "speed": {
            "throttle": true, // Menentukan apakah pembatasan kecepatan diaktifkan. Jika throttle diatur ke false, parameter mbps tidak berlaku. Jika throttle diatur ke true, pembatasan kecepatan diaktifkan.
            "concurrent": 1, // Jumlah thread konkuren.
            "mbps":"12"// Laju transmisi maksimum. Satuan: MB/s.
        }
    }
}

Parameter skrip Reader

Contoh skrip Writer

{
    "type":"job",
    "version":"2.0",// Nomor versi.
    "steps":[
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"apsaradb_for_OceanBase",// Nama plugin.
            "parameter":{
                "datasource": "Nama sumber data",
                "column": [// Kolom.
                    "id",
                    "name"
                ],
                "table": "apsaradb_for_OceanBase_table",// Nama tabel.
                "preSql": [ // Pernyataan SQL yang dieksekusi sebelum tugas sinkronisasi dijalankan.
                    "delete from @table where db_id = -1"
                ],
                "postSql": [// Pernyataan SQL yang dieksekusi setelah tugas sinkronisasi dijalankan.
                    "update @table set db_modify_time = now() where db_id = 1"
                ],
                "obWriteMode": "insert",
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"// Jumlah catatan error yang diizinkan.
        },
        "speed":{
            "throttle":true,// Menentukan apakah pembatasan kecepatan diaktifkan. Jika throttle diatur ke false, parameter mbps tidak berlaku. Jika throttle diatur ke true, pembatasan kecepatan diaktifkan.
            "concurrent":1, // Jumlah thread konkuren.
            "mbps":"12"// Laju transmisi maksimum. Satuan: MB/s.
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Parameter skrip Writer