DataWorks:ApsaraDB for OceanBase

Pembacaan batch

• ApsaraDB for OceanBase mendukung mode tenant Oracle dan MySQL. Saat mengonfigurasi klausa where untuk penyaringan data atau kolom fungsi dalam parameter column, pastikan sintaksnya sesuai dengan batasan SQL dari mode tenant yang bersangkutan. Jika tidak, pernyataan SQL mungkin gagal.

• Anda dapat membaca data dari sebuah view.

• Selama pembacaan batch, jangan ubah data yang sedang disinkronkan untuk mencegah masalah kualitas data, seperti duplikasi atau kehilangan data.

• Jika Anda mengonfigurasi sumber data untuk Read by Partition, akun yang digunakan untuk mengakses sumber data memerlukan izin system.

Penulisan batch

• Kami merekomendasikan menggunakan metode batch untuk menulis data. Metode ini hanya mengirim permintaan penulisan ketika jumlah baris yang terakumulasi mencapai ambang batas yang telah ditentukan.

• ApsaraDB for OceanBase mendukung mode tenant Oracle dan MySQL. Saat mengonfigurasi parameter preSql dan postSql, pastikan sintaksnya sesuai dengan batasan SQL dari mode tenant yang bersangkutan. Jika tidak, pernyataan SQL mungkin gagal.

Pembacaan real-time

• Fitur ini hanya mendukung mode tenant MySQL OceanBase.

• Untuk menyinkronkan data real-time, Anda harus mengaktifkan fitur binlog. Untuk informasi lebih lanjut, lihat Operasi terkait Binlog (Instans Alibaba Cloud), , atau Operasi terkait Binlog (Instans OB Cloud).

• Tugas sinkronisasi database penuh real-time tidak mendukung sumber data dalam mode connection string.

• Untuk tugas sinkronisasi database penuh real-time, versi database harus V3.0 atau lebih baru.

• ApsaraDB for OceanBase adalah database relasional terdistribusi yang dapat mengintegrasikan data dari beberapa database yang tersebar secara fisik menjadi satu database logis. Namun, saat menyinkronkan data secara real-time dari ApsaraDB for OceanBase ke AnalyticDB for MySQL, Anda hanya dapat menyinkronkan data dari satu database fisik. Sinkronisasi data dari database logis tidak didukung.

Konfigurasi daftar putih

Tambahkan Blok CIDR dari VPC tempat serverless resource group atau grup sumber daya eksklusif untuk Integrasi Data berada ke daftar putih instans OceanBase Anda. Untuk informasi lebih lanjut, lihat Konfigurasi Daftar Putih Alamat IP.

Buat akun dan berikan izin

Buat akun database dengan izin operasi yang diperlukan pada database OceanBase. Untuk informasi lebih lanjut, lihat Buat akun.

Sinkronisasi batch tabel tunggal

• Sumber data yang didukung: Semua jenis sumber data yang didukung oleh Data Integration.

• Panduan konfigurasi: Konfigurasi tugas sinkronisasi batch

Sinkronisasi real-time tabel tunggal

• Sumber data yang didukung: Kafka

• Panduan konfigurasi: Konfigurasi tugas sinkronisasi database penuh real-time

Sinkronisasi real-time database penuh

• Sumber data yang didukung: MySQL

• Panduan konfigurasi: Konfigurasi tugas sinkronisasi database penuh real-time

Konfigurasi tugas sinkronisasi batch menggunakan editor kode

Jika Anda ingin mengonfigurasi tugas sinkronisasi batch menggunakan editor kode, Anda harus mengonfigurasi parameter terkait dalam skrip berdasarkan persyaratan format skrip terpadu. Untuk informasi lebih lanjut, lihat Gunakan Editor Kode. Informasi berikut menjelaskan parameter yang harus Anda konfigurasi untuk sumber data saat mengonfigurasi tugas sinkronisasi batch menggunakan editor kode.

Contoh skrip Reader

{
    "type": "job",
    "steps": [
        {
            "stepType": "apsaradb_for_OceanBase", // Nama plug-in.
            "parameter": {
                "datasource": "", // Nama sumber data.
                "where": "",
                "column": [ // Kolom.
                    "id",
                    "name"
                ],
                "splitPk": ""
            },
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "stream",
            "parameter": {
                "print": false,
                "fieldDelimiter": ","
            },
            "name": "Writer",
            "category": "writer"
        }
    ],
    "version": "2.0",
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    },
    "setting": {
        "errorLimit": {
            "record": "0" // Jumlah catatan data kotor yang diizinkan.
        },
        "speed": {
            "throttle": true, // Jika diatur ke false, parameter mbps tidak berlaku dan tidak ada pembatasan kecepatan. Jika diatur ke true, pembatasan kecepatan diaktifkan.
            "concurrent": 1, // Konkurensi.
            "mbps":"12"// Laju pembatasan kecepatan. 1 mbps = 1 MB/s.
        }
    }
}

Parameter skrip Reader

Contoh skrip Writer

{
    "type":"job",
    "version":"2.0",// Nomor versi.
    "steps":[
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"apsaradb_for_OceanBase",// Nama plug-in.
            "parameter":{
                "datasource": "Nama sumber data",
                "column": [// Kolom.
                    "id",
                    "name"
                ],
                "table": "apsaradb_for_OceanBase_table",// Nama tabel.
                "preSql": [ // Pernyataan SQL yang akan dieksekusi sebelum tugas sinkronisasi data dijalankan.
                    "delete from @table where db_id = -1"
                ],
                "postSql": [// Pernyataan SQL yang akan dieksekusi setelah tugas sinkronisasi data selesai.
                    "update @table set db_modify_time = now() where db_id = 1"
                ],
                "obWriteMode": "insert",
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"// Jumlah catatan data kotor yang diizinkan.
        },
        "speed":{
            "throttle":true,// Jika diatur ke false, parameter mbps tidak berlaku dan tidak ada pembatasan kecepatan. Jika diatur ke true, pembatasan kecepatan diaktifkan.
            "concurrent":1, // Konkurensi.
            "mbps":"12"// Laju pembatasan kecepatan. 1 mbps = 1 MB/s.
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Parameter skrip Writer