Sinkronisasi real-time seluruh database ApsaraDB for OceanBase ke MaxCompute - DataWorks

Data Integration mendukung sinkronisasi real-time seluruh database dari sumber seperti ApsaraDB for OceanBase, MySQL, Oracle, PolarDB, dan PolarDB-X 2.0 ke MaxCompute. Topik ini menggunakan ApsaraDB for OceanBase sebagai sumber dan MaxCompute sebagai tujuan untuk menunjukkan cara menyinkronkan data penuh dan inkremental dari seluruh database ApsaraDB for OceanBase ke MaxCompute Delta Table.

Informasi latar belakang

Tugas Data Integration untuk sinkronisasi real-time seluruh database ApsaraDB for OceanBase ke MaxCompute pertama-tama menyinkronkan data penuh dari database sumber ke MaxCompute Delta Table, yang dapat berupa tabel partisi atau tabel non-partisi. Selanjutnya, tugas tersebut menyinkronkan data inkremental secara real-time, dengan data yang telah disinkronkan terlihat dalam waktu nyaris real-time. Saat ini, data inkremental yang disinkronkan ke Delta Table terlihat dalam waktu sesingkat lima menit.

Untuk informasi lebih lanjut mengenai MaxCompute Delta Tables, lihat Ikhtisar gudang data near-real-time.

Prasyarat

Anda telah membeli resource group Serverless atau grup sumber daya eksklusif untuk Data Integration.
Anda telah membuat sumber data ApsaraDB for OceanBase dan MaxCompute. Untuk informasi lebih lanjut, lihat Konfigurasi Sumber Data.
- ApsaraDB for OceanBase:
  - Hanya tenant OceanBase MySQL yang didukung.
  - Untuk menyinkronkan data real-time, Anda harus mengaktifkan fitur terkait Binlog. Untuk informasi lebih lanjut, lihat Operasi terkait Binlog (instans Alibaba Cloud), , atau Operasi terkait Binlog (instans OB Cloud).
- MaxCompute: Edisi tipe data MaxCompute V2.0 mendukung tipe data DECIMAL. Oleh karena itu, Anda harus mengaktifkan edisi tipe data MaxCompute V2.0 sebelum menjalankan tugas sinkronisasi. Untuk informasi lebih lanjut, lihat Edisi tipe data V2.0.
Anda telah menetapkan konektivitas jaringan antara resource group dan sumber data. Untuk informasi lebih lanjut, lihat Ikhtisar Solusi Konektivitas Jaringan.

Batasan

Sinkronisasi data sumber ke tabel eksternal MaxCompute tidak didukung.

Prosedur

1. Pilih jenis tugas sinkronisasi

Buka halaman Data Integration.
Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi kiri, pilih Data Integration > Data Integration. Pada halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down dan klik Go to Data Integration.
Di panel navigasi kiri, klik Synchronization Task. Lalu, klik Create Synchronization Task di bagian atas halaman dan konfigurasikan informasi dasar berikut.
- Source Type: ApsaraDB for OceanBase
- Destination Type: MaxCompute
- Task Name: Masukkan nama kustom untuk tugas sinkronisasi.
- Task Type: Real-time migration of entire database.
- Sync Procedure: pilih Full initialization dan Incremental synchronization.

2. Konfigurasi jaringan dan sumber daya

Di area Network and Resource Configuration, pilih Resource Group untuk tugas sinkronisasi. Anda dapat mengalokasikan CUs ke tugas tersebut di area Task Resource Usage.
Untuk Source, pilih sumber data ApsaraDB for OceanBase. Untuk Destination, pilih sumber data MaxCompute. Lalu, klik Test Connectivity.
Setelah memverifikasi bahwa sumber data dan tujuan terhubung, klik Next.

3. Pilih database dan tabel yang akan disinkronkan

Pada langkah ini, pilih tabel yang akan disinkronkan dari sumber data di bagian Source Table. Klik ikon untuk memindahkannya ke bagian Selected Tables di sebelah kanan.

Select Specified Database and Table:
- Di kolom Database Filtering dan Search for Tables, Anda dapat memfilter database dan tabel sumber yang akan disinkronkan dengan memasukkan kata kunci dari nama mereka. Pilih database dan tabel yang ingin disinkronkan, lalu klik ikon untuk memindahkannya ke area Selected Tables.
- Di area Selected Databases And Tables, masukkan informasi identifikasi di kolom Database Filter dan Table Filter untuk menemukan database dan tabel yang tidak ingin disinkronkan. Pilih item tersebut, klik ikon , lalu pindahkan ke area Source Databases And Tables.
Use Regular Expression (table addition and removal during running based on a regular expression supported):
Anda dapat memfilter informasi database dan tabel menggunakan ekspresi reguler di kolom Database Filtering dan Table Filtering. Lalu, klik OK untuk menyinkronkan database dan tabel yang dipilih.
Catatan
Sebagai contoh, untuk memfilter database dengan awalan a dan tabel dengan awalan order, masukkan a.* di kotak Database Filtering dan order.* di kotak Table Filtering.

4. Konfigurasi pemetaan tabel tujuan

Setelah memilih tabel dari mana Anda ingin menyinkronkan data, tabel yang dipilih akan otomatis ditampilkan di bagian Mapping Rules for Destination Tables. Properti tabel tujuan menunggu untuk dipetakan. Anda harus menentukan pemetaan secara manual antara tabel sumber dan tabel tujuan untuk menentukan hubungan pembacaan dan penulisan data. Lalu, Anda dapat mengklik Refresh di kolom Actions untuk merefresh pemetaan antara tabel sumber dan tabel tujuan, baik secara langsung maupun setelah mengonfigurasi pengaturan terkait tabel tujuan.

Catatan

Anda dapat memilih tabel yang ingin disinkronkan dan mengklik Batch Refresh Mapping Results. Jika tidak ada aturan pemetaan yang dikonfigurasi, aturan penamaan tabel default adalah ${source_database_name}_${table_name}. Jika tabel dengan nama yang sama tidak ada di database tujuan, tabel baru akan dibuat secara otomatis.
Di kolom Customize Mapping Rules, Anda dapat mengklik Edit untuk menyesuaikan aturan penamaan tabel target.
Anda dapat menggabungkan variabel bawaan dan string yang dimasukkan secara manual untuk membuat nama tabel tujuan. Anda juga dapat mengedit variabel bawaan tersebut. Sebagai contoh, Anda dapat membuat aturan penamaan baru yang menambahkan akhiran pada nama tabel sumber.
Saat menyinkronkan data ke MaxCompute Delta Table, Anda harus menentukan kunci primer untuk tabel tujuan. Secara default, kunci primer dari tabel sumber digunakan. Jika tabel sumber tidak memiliki kunci primer, Anda dapat menentukan kolom kunci primer kustom. Tugas sinkronisasi tidak dapat disimpan jika tidak ada kunci primer yang ditentukan.
Secara default, Delta table yang dibuat otomatis memiliki 16 bucket. Anda dapat mengubah jumlah ini di kolom Table Bucket Num dalam pemetaan tabel target.
Anda tidak dapat mengubah jumlah bucket untuk tabel yang sudah ada. Jumlah bucket menentukan cara data tabel dipartisi, sehingga memungkinkan operasi seperti kueri, penulisan, dan penggabungan data dieksekusi secara konkuren di tingkat bucket. Namun, penggunaan terlalu banyak bucket dapat meningkatkan jumlah file kecil. Oleh karena itu, Anda harus mengonfigurasi pengaturan ini berdasarkan kebutuhan spesifik Anda. Untuk informasi lebih lanjut, lihat Table Operations dan Data Storage Bucketing.
Secara default, periode kueri untuk data historis di Delta Table yang dibuat otomatis adalah 0 jam. Anda dapat menentukan periode ini di pengaturan Acid Data Retain Hours dalam pemetaan tabel target.
Anda tidak dapat mengubah periode kueri data historis untuk tabel yang sudah ada. Periode ini menentukan rentang waktu di mana Anda dapat mengkueri versi historis data. Data historis yang lebih tua dari periode yang ditentukan tidak dapat dikueri. Periode yang lebih panjang berarti lebih banyak data historis yang disimpan, sehingga meningkatkan biaya penyimpanan. Oleh karena itu, Anda harus menetapkan periode ini berdasarkan kebutuhan Anda. Untuk informasi lebih lanjut, lihat Table Operations dan Time Travel.

a. Ubah pemetaan tipe data untuk bidang

Pemetaan default sudah tersedia antara tipe data bidang sumber dan tipe data bidang tujuan. Anda dapat mengklik Edit Mapping of Field Data Types di pojok kanan atas bagian Mapping Rules for Destination Tables untuk mengonfigurasi pemetaan tipe data antara bidang sumber dan bidang tujuan sesuai kebutuhan bisnis Anda. Setelah konfigurasi selesai, klik Apply and Refresh Mapping.

b. Ubah skema tabel tujuan untuk menambahkan bidang ke tabel dan memberikan nilai pada bidang tersebut

Jika tabel tujuan berada dalam status To Be Created, Anda dapat melakukan langkah-langkah berikut untuk menambahkan bidang ke tabel dan memberikan nilai pada bidang tersebut:

Tambahkan bidang ke satu atau beberapa tabel tujuan.
- Tambahkan bidang ke satu tabel tujuan: Temukan tabel tujuan tempat Anda ingin menambahkan bidang dan klik ikon di kolom Destination Table Name. Di kotak dialog yang muncul, tambahkan bidang.
- Tambahkan bidang ke beberapa tabel tujuan sekaligus: Pilih tabel tujuan tempat Anda ingin menambahkan bidang sekaligus, klik Batch Modify di bagian bawah halaman, lalu klik Destination Table Schema - Batch Modify and Add Field.
Berikan nilai pada bidang tersebut. Anda dapat melakukan salah satu operasi berikut untuk memberikan nilai pada bidang tersebut:
- Berikan nilai pada bidang yang ditambahkan ke satu tabel tujuan: Temukan tabel tujuan tempat Anda ingin memberikan nilai pada bidang yang baru ditambahkan dan klik Configure di kolom Value assignment. Di kotak dialog Additional Field, berikan nilai pada bidang tersebut.
- Berikan nilai pada bidang yang ditambahkan ke beberapa tabel tujuan sekaligus: Pilih tabel tujuan tempat Anda ingin memberikan nilai pada bidang yang baru ditambahkan, klik Batch Modify di bagian bawah halaman, lalu klik Value assignment untuk memberikan nilai yang sama pada bidang tersebut di semua tabel tujuan yang dipilih sekaligus.
Catatan
Anda dapat mengklik ikon untuk mengganti metode pemberian nilai dan memberikan konstanta serta variabel pada bidang yang ditambahkan ke tabel tujuan.

c. Konfigurasi aturan pemrosesan DML

Data Integration menyediakan aturan pemrosesan DML default. Anda juga dapat mengonfigurasi aturan pemrosesan DML untuk tabel tujuan sesuai kebutuhan bisnis Anda.

Konfigurasi aturan pemrosesan DML untuk satu tabel tujuan: Temukan tabel tujuan tempat Anda ingin mengonfigurasi aturan pemrosesan DML dan klik Configure di kolom Configure DML Rule untuk mengonfigurasi aturan pemrosesan DML untuk tabel tersebut.
Konfigurasi aturan pemrosesan DML untuk beberapa tabel tujuan sekaligus: Pilih tabel tujuan tempat Anda ingin mengonfigurasi aturan pemrosesan DML, klik Batch Modify di bagian bawah halaman, lalu klik Configure DML Rule.

4. Konfigurasi sinkronisasi penuh

Jika Anda memilih Full initialization di Sync Procedure saat memilih jenis tugas sinkronisasi, Anda juga dapat menonaktifkan sinkronisasi penuh untuk tabel tertentu di sini.

5. Konfigurasi aturan peringatan

Untuk mencegah kegagalan tugas sinkronisasi menyebabkan latensi pada sinkronisasi data bisnis, Anda dapat mengonfigurasi berbagai aturan peringatan untuk tugas sinkronisasi tersebut.

Di pojok kanan atas halaman, klik Configure Alert Rule untuk membuka panel Alert Rule Configurations for Real-time Synchronization Subnode.
Di panel Configure Alert Rule, klik Add Alert Rule. Di kotak dialog Add Alert Rule, konfigurasikan parameter untuk menetapkan aturan peringatan.
Catatan
Aturan peringatan yang Anda konfigurasi pada langkah ini berlaku untuk subtugas sinkronisasi real-time yang akan dihasilkan oleh tugas sinkronisasi. Setelah konfigurasi tugas sinkronisasi selesai, Anda dapat merujuk ke Kelola tugas sinkronisasi real-time untuk membuka halaman Tugas Sinkronisasi Real-time dan mengubah aturan peringatan yang dikonfigurasi untuk subtugas sinkronisasi real-time tersebut.
Kelola aturan peringatan.
Anda dapat mengaktifkan atau menonaktifkan aturan peringatan yang telah dibuat. Anda juga dapat menentukan penerima peringatan yang berbeda berdasarkan tingkat keparahan peringatan.

6. Konfigurasi parameter lanjutan

Anda dapat mengubah nilai parameter tertentu yang dikonfigurasi untuk tugas sinkronisasi sesuai kebutuhan bisnis Anda. Misalnya, Anda dapat menentukan nilai yang sesuai untuk parameter Maximum read connections untuk mencegah tugas sinkronisasi saat ini memberikan tekanan berlebihan pada database sumber dan memengaruhi produksi data.

Catatan

Untuk mencegah kesalahan tak terduga atau masalah kualitas data, kami menyarankan agar Anda memahami makna parameter sebelum mengubah nilainya.

Di pojok kanan atas halaman konfigurasi, klik Configure Advanced Parameters.
Di panel Configure Advanced Parameters, ubah nilai parameter yang diinginkan.

7. Konfigurasi aturan pemrosesan DDL

Operasi DDL mungkin dilakukan pada sumber. Anda dapat mengklik Configure DDL Capability di pojok kanan atas halaman untuk mengonfigurasi aturan guna memproses pesan DDL dari sumber sesuai kebutuhan bisnis Anda.

Catatan

Untuk informasi lebih lanjut, lihat Konfigurasi aturan untuk memproses pesan DDL.

8. Lihat dan ubah resource group

Anda dapat mengklik Configure Resource Group di pojok kanan atas halaman untuk melihat dan mengubah resource group yang digunakan untuk menjalankan tugas sinkronisasi saat ini.

9. Jalankan tugas sinkronisasi

Setelah konfigurasi tugas sinkronisasi selesai, klik Complete di bagian bawah halaman.
Di bagian Synchronization Task pada halaman Data Integration, temukan tugas sinkronisasi yang telah dibuat dan klik Start di kolom Operation.
Klik Name/ID tugas sinkronisasi di bagian Tasks dan lihat proses eksekusi detail tugas sinkronisasi tersebut.

O&M untuk tugas sinkronisasi

Lihat status tugas

Setelah membuat tugas sinkronisasi, Anda dapat melihat daftar tugas yang telah dibuat beserta informasi dasarnya di halaman Sync Task.

Di kolom Operation, Anda dapat Start atau Stop tugas sinkronisasi. Menu More menyediakan operasi tambahan, seperti Edit dan View.
Untuk tugas yang sedang berjalan, Anda dapat melihat status dasarnya di Execution Overview. Anda juga dapat mengklik area ikhtisar tugas tersebut untuk melihat detail eksekusinya.
Tugas sinkronisasi real-time seluruh database ApsaraDB for OceanBase ke MaxCompute terdiri dari tiga langkah:
- Migrasi skema: Termasuk metode pembuatan tabel tujuan (tabel yang sudah ada atau pembuatan otomatis). Jika tabel dibuat secara otomatis, pernyataan Data Definition Language (DDL) akan ditampilkan.
- Inisialisasi penuh: Termasuk informasi tentang tabel yang disinkronkan secara offline, progres sinkronisasi, dan jumlah baris yang ditulis.
- Sinkronisasi data real-time: Termasuk statistik sinkronisasi real-time, seperti progres real-time, catatan DDL, catatan DML, dan informasi peringatan.

Jalankan ulang tugas sinkronisasi

Dalam beberapa kasus khusus, jika Anda menambahkan atau menghapus tabel dari sumber, atau mengubah skema atau nama tabel tujuan, Anda dapat mengklik More di kolom Operation tugas sinkronisasi lalu klik Rerun untuk menjalankan ulang tugas tersebut setelah perubahan. Selama proses jalankan ulang, tugas sinkronisasi hanya menyinkronkan data dari tabel yang baru ditambahkan ke tujuan atau hanya dari tabel sumber yang dipetakan ke tabel tujuan yang skema atau namanya diubah.

Jika Anda ingin menjalankan ulang tugas sinkronisasi tanpa mengubah konfigurasi tugas tersebut, klik More di kolom Actions lalu klik Rerun untuk menjalankan ulang tugas guna melakukan sinkronisasi penuh dan sinkronisasi inkremental lagi.
Jika Anda ingin menjalankan ulang tugas sinkronisasi setelah menambahkan atau menghapus tabel dari tugas tersebut, klik Complete setelah perubahan. Dalam hal ini, Apply Updates akan ditampilkan di kolom Actions tugas sinkronisasi. Klik Apply Updates untuk memicu sistem menjalankan ulang tugas sinkronisasi tersebut. Selama proses jalankan ulang, tugas sinkronisasi menyinkronkan data dari tabel yang baru ditambahkan ke tujuan. Data di tabel asli tidak disinkronkan lagi.