ApsaraDB for OceanBase (Deprecated):Menyinkronkan data dari database OceanBase ke instans DataHub

Prasyarat

• Layanan transmisi data memiliki hak istimewa untuk mengakses sumber daya cloud. Untuk informasi selengkapnya, lihat Berikan hak istimewa kepada peran untuk transmisi data.

• Anda telah membuat pengguna database khusus untuk sinkronisasi data di database OceanBase sumber dan memberikan hak istimewa yang sesuai kepada pengguna tersebut. Untuk informasi selengkapnya, lihat Buat pengguna database.

Batasan

• Saat memilih sinkronisasi penuh, layanan transmisi data hanya mendukung tabel dengan kunci unik.

• Sinkronisasi DDL hanya berlaku untuk topik BLOB.

• Selama sinkronisasi data, layanan transmisi data memungkinkan Anda menghapus tabel sebelum membuat yang baru, yaitu mengeksekusi DROP TABLE lalu CREATE TABLE. Namun, layanan ini tidak mengizinkan pembuatan tabel baru melalui penggantian nama tabel, sehingga Anda tidak dapat mengeksekusi RENAME TABLE a TO a_tmp.

• Layanan transmisi data mendukung sinkronisasi data dengan set karakter UTF8 dan GBK.

• Nama tabel yang akan disinkronkan serta nama kolom di dalamnya tidak boleh mengandung karakter Tionghoa.

• Layanan transmisi data hanya mendukung sinkronisasi objek jika nama database, nama tabel, dan nama kolom objek tersebut dikodekan dalam ASCII tanpa karakter khusus. Karakter khusus yang dimaksud adalah jeda baris, spasi, serta karakter berikut: . | " ' ` ( ) = ; / & \.

• Layanan transmisi data tidak mendukung database OceanBase standby sebagai sumber.

DataHub memiliki batasan berikut:

DataHub membatasi ukuran pesan berdasarkan lingkungan cloud. Biasanya, ukuran pesan maksimal adalah 1 MB. DataHub mengirim pesan dalam batch, dengan ukuran setiap batch tidak lebih dari 4 MB.

Pertimbangan

• Pada tugas sinkronisasi data dengan sumber berupa database OceanBase dan sinkronisasi DDL diaktifkan, jika operasi RENAME dilakukan pada tabel di database sumber, kami menyarankan Anda melakukan restart tugas untuk menghindari kehilangan data selama sinkronisasi inkremental.

• Jika sumber adalah database OceanBase versi V4.0.0 hingga V4.3.x (tidak termasuk V4.2.5 BP1) dan Anda memilih sinkronisasi inkremental, Anda perlu menentukan atribut STORED untuk kolom yang dihasilkan. Jika Anda tidak menentukan atribut ini, informasi tentang kolom yang dihasilkan tidak akan disimpan dalam log inkremental, yang dapat menyebabkan kesalahan data pada sinkronisasi inkremental.

• Perhatikan hal-hal berikut saat baris yang diperbarui berisi kolom large object (LOB):

  • Jika kolom LOB diperbarui, jangan gunakan nilai yang tersimpan di kolom LOB sebelum operasi UPDATE atau DELETE.

    Tipe data berikut disimpan dalam kolom LOB: JSON, GIS, XML, tipe yang ditentukan pengguna (UDT), dan TEXT seperti LONGTEXT dan MEDIUMTEXT.

  • Jika kolom LOB tidak diperbarui, nilai yang tersimpan di kolom LOB sebelum dan sesudah operasi UPDATE atau DELETE adalah NULL.

• Jika Anda hanya memilih Incremental Synchronization saat membuat tugas sinkronisasi data, layanan transmisi data mensyaratkan agar log inkremental lokal di database sumber dipertahankan minimal selama 48 jam.

  Jika Anda memilih Full Synchronization dan Incremental Synchronization saat membuat tugas sinkronisasi data, layanan transmisi data mensyaratkan agar log inkremental lokal di database sumber dipertahankan minimal selama tujuh hari. Jika tidak, tugas sinkronisasi data mungkin gagal atau data di sumber dan target menjadi tidak konsisten karena layanan transmisi data tidak dapat memperoleh log inkremental.

• Saat menyinkronkan data inkremental dari database OceanBase ke instans DataHub, skema disinkronkan ke skema DataHub lalu diinisialisasi. Tabel berikut mencantumkan tipe data yang didukung oleh DataHub. Tipe data ini hanya berlaku untuk topik Tuple.

  Type	Description	Value range
  BIGINT	An 8-byte signed integer.	-9223372036854775807 to 9223372036854775807
  DOUBLE	An 8-byte double-precision floating-point number.	-1.0 _10^308 to 1.0 _10^308
  BOOLEAN	A boolean value.	True/False true/false 0/1
  TIMESTAMP	A timestamp.	It is accurate to microseconds.
  STRING	A string that supports only UTF-8 encoding.	A single STRING column supports a maximum of 2 MB.
  INTEGER	A 4-byte integer.	-2147483648 to 2147483647
  FLOAT	A 4-byte single-precision floating-point number.	-3.40292347_10^38 to 3.40292347_10^38
  DECIMAL	A digital value.	- 10^38 + 1 to 10^38 - 1

Tipe instans sumber dan target yang didukung

Pada tabel berikut, OB_MySQL merepresentasikan database OceanBase dalam mode kompatibel MySQL, dan OB_Oracle merepresentasikan database OceanBase dalam mode kompatibel Oracle.

DDL yang didukung

• ALTER TABLE

  • ADD COLUMN

  • MODIFY COLUMN

  • DROP COLUMN

• CREATE INDEX

• DROP INDEX

• TRUNCATE TABLE

  Catatan

  Pada penghapusan tertunda, transaksi yang sama berisi dua pernyataan DDL TRUNCATE TABLE yang identik. Dalam kasus ini, idempotensi diterapkan untuk konsumsi downstream.

Pemetaan tipe data

Tugas yang menyinkronkan data ke instans DataHub hanya mendukung tipe data berikut: INTEGER, BIGINT, TIMESTAMP, FLOAT, DOUBLE, DECIMAL, STRING, dan BOOLEAN.

• Jika Anda membuat topik dengan tipe lain saat mengatur pemetaan topik, sinkronisasi data akan gagal.

• Tabel berikut menjelaskan aturan pemetaan default, yang merupakan yang paling tepat. Jika Anda mengubah pemetaan tersebut, kesalahan mungkin terjadi.

Properti tambahan

Jika Anda membuat topik secara manual, tambahkan properti berikut ke skema DataHub sebelum memulai tugas sinkronisasi data. Jika layanan transmisi data membuat topik secara otomatis dan menyinkronkan skema, layanan tersebut akan menambahkan properti berikut secara otomatis.

Saat sumber adalah database OceanBase dalam mode kompatibel MySQL dan Anda memilih Tuple sebagai tipe topik pada halaman Select Synchronization Objects serta memilih DTSCompatible untuk Serialization Method di bagian Advanced Options pada halaman Synchronization Options, akhiran dts_ akan ditambahkan secara otomatis ke nama kolom. Misalnya, nama kolom c1 di database OceanBase sumber dalam mode kompatibel MySQL akan diubah menjadi dts_c1 setelah disinkronkan ke instans DataHub target. Tabel berikut menjelaskan konversi kolom secara rinci.

Prosedur

1. Login ke

   ApsaraDB for OceanBase console dan beli tugas sinkronisasi data.

   Untuk informasi selengkapnya, lihat Purchase a data synchronization task.

2. Pilih Data Transmission > Data Synchronization. Pada halaman yang muncul, klik Configuration untuk tugas sinkronisasi data tersebut.

   

   Jika Anda ingin merujuk konfigurasi tugas yang sudah ada, klik Reference Configuration. Untuk informasi selengkapnya, lihat Reference and clear the configuration of a data synchronization task.

3. Pada halaman Select Source and Target, konfigurasikan parameter-parameter berikut.

   Parameter	Description
   Synchronization Task Name	Kami menyarankan Anda mengaturnya sebagai kombinasi angka dan huruf. Nama tidak boleh mengandung spasi dan panjangnya tidak boleh melebihi 64 karakter.
   Source	Jika Anda telah membuat sumber data OceanBase, pilih dari daftar drop-down. Jika belum, klik New Data Source di daftar drop-down dan buat di kotak dialog yang muncul di sebelah kanan. Untuk informasi selengkapnya mengenai parameter, lihat Create an OceanBase data source.
   Target	Jika Anda telah membuat sumber data DataHub, pilih dari daftar drop-down. Jika belum, klik New Data Source di daftar drop-down dan buat di kotak dialog yang muncul di sebelah kanan. Untuk informasi selengkapnya mengenai parameter, lihat Create a DataHub data source.
   Tag (Optional)	Pilih tag target dari daftar drop-down. Anda juga dapat mengklik Manage Tags untuk membuat, mengubah, dan menghapus tag. Untuk informasi selengkapnya, lihat Use tags to manage data synchronization tasks.

4. Klik Next. Pada halaman Select Synchronization Type, tentukan tipe sinkronisasi untuk tugas sinkronisasi data saat ini.

   

   Tipe sinkronisasi yang didukung adalah Schema Synchronization, Full Synchronization, dan Incremental Synchronization. Schema Synchronization membuat topik. Opsi untuk Incremental Synchronization adalah DML Synchronization dan DDL Synchronization. Operasi DML yang didukung adalah INSERT, DELETE, dan UPDATE. Anda dapat memilih opsi dan operasi sesuai kebutuhan. Untuk informasi selengkapnya, lihat Configure DDL/DML synchronization.

   Catatan

   Saat sumber adalah database OceanBase dalam mode kompatibel Oracle dan Anda memilih DDL Synchronization untuk Incremental Synchronization, Anda hanya dapat memilih BLOB sebagai tipe topik pada halaman Select Synchronization Objects.

   

5. Klik Next. Pada halaman Select Synchronization Objects, pilih tipe topik dan objek yang akan disinkronkan dalam tugas sinkronisasi data saat ini.

   Tipe topik yang tersedia adalah Tuple dan BLOB. Saat sumber adalah database OceanBase dalam mode kompatibel Oracle, topik Tuple tidak mendukung sinkronisasi DDL tetapi mendukung catatan yang mirip dengan catatan database. Setiap catatan berisi beberapa kolom. Topik BLOB hanya mendukung blok biner sebagai catatan. Data dikodekan Base64 untuk transmisi. Untuk informasi selengkapnya, kunjungi pusat dokumentasi DataHub.

   Setelah memilih tipe topik untuk sinkronisasi, Anda dapat memilih Specify Objects atau Match Rules untuk menentukan objek sinkronisasi. Topik ini menjelaskan cara menggunakan opsi Specify Objects untuk menentukan objek sinkronisasi. Untuk informasi tentang cara mengonfigurasi aturan pencocokan, lihat "Wildcard patterns for data migration/synchronization between a database and a Message Queue instance" dalam Configure and modify matching rules.

   Catatan

   Jika Anda memilih DDL Synchronization pada langkah Select Synchronization Type, kami menyarankan Anda memilih objek sinkronisasi menggunakan opsi Match Rules. Ini memastikan bahwa semua objek baru yang memenuhi aturan pencocokan akan disinkronkan. Jika Anda memilih objek sinkronisasi menggunakan opsi Specify Objects, objek baru atau objek yang diganti namanya tidak akan disinkronkan.

   1. Pada bagian Select Synchronization Objects, pilih Specify Objects.

   2. Di panel sebelah kiri, pilih objek yang akan disinkronkan.

   3. Klik >.

   4. Pilih metode pemetaan.

      • Untuk menyinkronkan satu tabel Tuple atau satu/multiple tabel BLOB, pilih metode pemetaan yang diperlukan dan klik OK di kotak dialog Map Object to Topic.

        

        Jika Anda belum memilih Schema Synchronization sebagai tipe sinkronisasi, Anda hanya dapat memilih Existing Topics. Jika Anda telah memilih Schema Synchronization saat menentukan tipe sinkronisasi, Anda hanya dapat memilih satu metode pemetaan untuk membuat atau memilih topik.

        Misalnya, jika Anda telah memilih Schema Synchronization, saat Anda menggunakan kedua metode pemetaan Create Topic dan Select Topic atau mengganti nama topik, kesalahan pemeriksaan awal akan dikembalikan karena konflik opsi.

        Parameter	Description
        Create Topic	Masukkan nama topik baru di kotak teks. Nama topik dapat berisi huruf, angka, dan garis bawah (_) serta harus dimulai dengan huruf. Panjangnya tidak boleh melebihi 128 karakter.
        Select Topic	Layanan transmisi data memungkinkan Anda mencari topik DataHub. Anda dapat mengklik Select Topic, lalu temukan dan pilih topik yang akan disinkronkan dari daftar drop-down Existing Topics.
        Batch Generate Topics	Format untuk menghasilkan topik secara batch adalah Topic_${Database Name}_${Table Name}.

        Jika Anda memilih Create Topic atau Batch Generate Topics, Anda dapat mencari topik yang baru dibuat di instans DataHub setelah sinkronisasi skema selesai. Secara default, setiap topik DataHub memiliki dua partisi dan periode kedaluwarsa data adalah 7 hari, yang tidak dapat diubah.

      • Untuk menyinkronkan beberapa tabel Tuple, klik OK di kotak dialog yang muncul.

        

        Jika Anda telah memilih topik Tuple dan beberapa tabel tanpa memilih Schema Synchronization, Anda harus memilih topik yang sudah ada dan mengklik OK di kotak dialog Map Object to Topic.

        

        Dalam kasus ini, beberapa tabel akan ditampilkan di bawah topik di panel kanan, tetapi hanya satu tabel yang dapat disinkronkan. Kemudian, klik Next. Prompt akan muncul, menunjukkan bahwa hanya pemetaan satu-ke-satu yang didukung antara topik Tuple dan tabel.

        

   Layanan transmisi data memungkinkan Anda mengimpor objek menggunakan teks. Layanan ini juga memungkinkan Anda mengganti nama objek, mengatur filter baris, dan menghapus satu objek atau semua objek. Objek di database target ditampilkan dalam struktur Topik > Database > Tabel.

   Catatan

   Saat Anda memilih Match Rules untuk menentukan objek sinkronisasi, penggantian nama objek diterapkan berdasarkan sintaks aturan pencocokan yang ditentukan. Di area operasi, Anda hanya dapat mengatur kondisi penyaringan dan memilih kolom sharding serta kolom yang akan disinkronkan. Untuk informasi selengkapnya, lihat Configure and modify matching rules.

   

   Operation	Description
   Import objects	Di daftar sebelah kanan, klik Import Objects di pojok kanan atas. Di kotak dialog yang muncul, klik OK. Penting Operasi ini akan menimpa pilihan sebelumnya. Lakukan dengan hati-hati. Di kotak dialog Import Synchronization Objects, impor objek yang akan disinkronkan. Anda dapat mengimpor file CSV untuk mengganti nama database atau tabel dan mengatur kondisi penyaringan baris. Untuk informasi selengkapnya, lihat Download and import the settings of synchronization objects. Klik Validate. Setelah validasi berhasil, klik OK.
   Change topics	Saat tipe topik diatur ke BLOB, Anda dapat mengganti topik untuk objek di database target. Untuk informasi selengkapnya, lihat Change topics.
   Settings	Layanan transmisi data memungkinkan Anda menyaring data berdasarkan baris menggunakan klausa WHERE, memilih kolom sharding, dan memilih kolom yang akan disinkronkan. Di daftar sebelah kanan, arahkan pointer ke objek tabel yang ingin Anda atur. Klik Settings. Di kotak dialog Settings, Anda dapat melakukan operasi berikut: Di bagian Row Filters, tentukan klausa WHERE SQL standar untuk menyaring data berdasarkan baris. Untuk informasi selengkapnya, lihat Use SQL conditions to filter data. Pilih kolom sharding yang ingin Anda gunakan dari daftar drop-down Sharding Columns. Anda dapat memilih beberapa bidang sebagai kolom sharding. Parameter ini bersifat opsional. Kecuali ditentukan lain, pilih kunci primer sebagai kolom sharding. Jika kunci primer tidak seimbang beban, pilih bidang yang seimbang beban dengan pengidentifikasi unik sebagai kolom sharding untuk menghindari potensi masalah kinerja. Kolom sharding dapat digunakan untuk tujuan berikut: Load balancing: Thread yang digunakan untuk mengirim pesan dapat dikenali berdasarkan kolom sharding jika tabel target mendukung penulisan konkuren. Orderliness: Layanan transmisi data memastikan bahwa pesan diterima secara berurutan jika nilai kolom sharding sama. Orderliness menentukan urutan eksekusi pernyataan DML untuk suatu kolom. Di bagian Select Columns, pilih kolom yang akan disinkronkan. Untuk informasi selengkapnya, lihat Column filtering. Klik OK.
   Remove one or all objects	Layanan transmisi data memungkinkan Anda menghapus satu atau semua objek sinkronisasi yang ditambahkan ke daftar sisi kanan selama pemetaan data. Remove a single synchronization object Di daftar sebelah kanan, arahkan kursor ke objek yang ingin Anda hapus, lalu klik Remove untuk menghapus objek sinkronisasi tersebut. Remove all synchronization objects Di daftar sebelah kanan, klik Remove All di pojok kanan atas. Di kotak dialog yang muncul, klik OK untuk menghapus semua objek sinkronisasi.

6. Klik Next. Pada halaman Synchronization Options, konfigurasikan parameter-parameter berikut.

   • Full synchronization

     Tabel berikut menjelaskan parameter sinkronisasi penuh, yang hanya ditampilkan jika Anda telah memilih Full Synchronization pada halaman Select Synchronization Type.

     

     Parameter	Description
     Read Concurrency	Konkurensi untuk membaca data dari sumber selama sinkronisasi penuh. Nilai maksimum adalah 512. Konkurensi tinggi dapat menyebabkan beban berlebih pada sumber, sehingga memengaruhi bisnis.
     Write Concurrency	Konkurensi untuk menulis data ke target selama sinkronisasi penuh. Nilai maksimum adalah 512. Konkurensi tulis tinggi dapat menyebabkan beban berlebih pada target, memengaruhi bisnis.
     Full Synchronization Rate Limit	Anda dapat memilih apakah akan membatasi laju sinkronisasi penuh sesuai kebutuhan. Jika Anda memilih untuk membatasi laju sinkronisasi penuh, Anda harus menentukan records per second (RPS) dan bytes per second (BPS). RPS menentukan jumlah maksimum baris data yang disinkronkan ke target per detik selama sinkronisasi penuh, dan BPS menentukan jumlah maksimum data dalam byte yang disinkronkan ke target per detik selama sinkronisasi penuh. Catatan Nilai RPS dan BPS yang ditentukan di sini hanya untuk pembatasan kecepatan. Kinerja sinkronisasi penuh aktual bergantung pada faktor-faktor seperti pengaturan sumber dan target serta spesifikasi instans.

   • Incremental synchronization

     Tabel berikut menjelaskan parameter sinkronisasi inkremental, yang hanya ditampilkan jika Anda telah memilih Incremental Synchronization pada halaman Select Synchronization Type.

     

     Parameter	Description
     Write Concurrency	Konkurensi untuk menulis data ke target selama sinkronisasi inkremental. Nilai maksimum adalah 512. Konkurensi tulis tinggi dapat menyebabkan beban berlebih pada target, memengaruhi bisnis.
     Incremental Synchronization Rate Limit	Anda dapat memilih apakah akan membatasi laju sinkronisasi inkremental sesuai kebutuhan. Jika Anda memilih untuk membatasi laju sinkronisasi inkremental, Anda harus menentukan RPS dan BPS. RPS menentukan jumlah maksimum baris data yang disinkronkan ke target per detik selama sinkronisasi inkremental, dan BPS menentukan jumlah maksimum data dalam byte yang disinkronkan ke target per detik selama sinkronisasi inkremental. Catatan Nilai RPS dan BPS yang ditentukan di sini hanya untuk pembatasan kecepatan. Kinerja sinkronisasi inkremental aktual bergantung pada faktor-faktor seperti pengaturan sumber dan target serta spesifikasi instans.
     Incremental Synchronization Start Timestamp	Parameter ini tidak tersedia jika Anda telah memilih Full Synchronization. Jika Anda telah memilih Incremental Synchronization tetapi tidak memilih Full Synchronization, tentukan titik waktu setelah itu data akan disinkronkan. Nilai default adalah waktu sistem saat ini. Untuk informasi selengkapnya, lihat Set an incremental synchronization timestamp.

   • Advanced parameters

     

     Parameter	Description
     Serialization Method	Format pesan untuk menyinkronkan data ke instans DataHub target. Nilai yang valid: Default, Canal, DataWorks (versi 2.0 didukung), SharePlex, DefaultExtendColumnType, Debezium, DebeziumFlatten, DebeziumSmt, dan DTSCompatible. Untuk informasi selengkapnya, lihat Data formats used in serialization methods. Penting Parameter ini hanya tersedia jika Anda mengatur tipe topik ke BLOB pada halaman Select Synchronization Objects atau jika Anda mengatur tipe topik ke Tuple pada halaman ini dan sumber adalah database OceanBase dalam mode kompatibel MySQL. Hanya database OceanBase dalam mode kompatibel MySQL yang mendukung Debezium, DebeziumFlatten, DebeziumSmt, dan DTSCompatible. Saat sumber adalah database OceanBase dalam mode kompatibel MySQL dan Anda mengatur tipe topik ke Tuple pada halaman Select Synchronization Objects, Anda dapat memilih Default atau DTSCompatible sebagai metode serialisasi.
     Partitioning Rules	Aturan untuk menyinkronkan data dari database sumber ke topik DataHub. Nilai yang valid: Hash dan Table. Kami menyarankan Anda memilih Table untuk memastikan konsistensi konsumsi DDL dan DML saat aplikasi downstream mengonsumsi pesan. Hash berarti layanan transmisi data menggunakan algoritma hash untuk memilih shard topik DataHub berdasarkan nilai kunci primer atau kolom sharding. Table berarti layanan transmisi data mengirimkan semua data dalam tabel ke partisi yang sama dan menggunakan nama tabel sebagai kunci hash. Catatan Jika Anda telah memilih DDL Synchronization pada halaman Select Synchronization Type, aturan partisi hanya dapat diatur ke Table.
     Business System Identification (Optional)	Mengidentifikasi sistem bisnis sumber data. Parameter ini hanya ditampilkan saat Anda memilih DataWorks untuk Serialization Method. Pengidentifikasi sistem bisnis terdiri dari 1 hingga 20 karakter.

7. Klik Precheck.

   Selama pemeriksaan awal, layanan transmisi data memeriksa nama kolom dan tipe kolom, serta memeriksa apakah nilainya null. Layanan transmisi data tidak memeriksa panjang nilai atau nilai default. Jika terjadi kesalahan selama pemeriksaan awal, Anda dapat melakukan operasi berikut:

   • Identifikasi dan atasi masalah tersebut, lalu lakukan pemeriksaan awal lagi.

   • Klik Skip di kolom Actions pada item pemeriksaan awal yang gagal. Di kotak dialog yang menampilkan konsekuensi operasi tersebut, klik OK.

8. Setelah pemeriksaan awal berhasil, klik Start Task.

   Jika Anda tidak perlu memulai tugas sekarang, klik Save. Anda dapat memulai tugas secara manual di halaman Synchronization Tasks atau melalui operasi batch nanti. Untuk informasi selengkapnya tentang operasi batch, lihat Perform batch operations on data synchronization tasks.

   Layanan transmisi data memungkinkan Anda mengubah objek sinkronisasi saat tugas sinkronisasi sedang berjalan. Untuk informasi selengkapnya, lihat View and modify synchronization objects and their filter conditions. Setelah tugas sinkronisasi data dimulai, tugas tersebut akan dieksekusi berdasarkan tipe sinkronisasi yang dipilih. Untuk informasi selengkapnya, lihat View details of a data synchronization task.

Jika tugas sinkronisasi data mengalami pengecualian eksekusi karena kegagalan jaringan atau startup proses yang lambat, Anda dapat mengklik Resume di halaman Synchronization Tasks atau Details tugas sinkronisasi tersebut.

Referensi

• Create an OceanBase data source

• Create a DataHub data source

• Perform batch operations on data synchronization tasks

• View details of a data synchronization task